DDMA / eXDe: Datakwaliteit1. vent: DDMA DQ Dag
hema: Datakwaliteit
preker: Jack van den Brink – eXDe Solutions BV
Datum: 12 september 2006 – Fortis NV, Utrecht
3. Introductie
• Jack van den Brink
– Werkzaam in de IT sinds 1987
– MSc in IT (dissertation over Data Quality framework)
– Veel ervaring met CRM en CDI implementaties
– Sinds 1-6-2006 werkzaam bij eXDe (datamanagement en integratie)
• eXDe Solutions B.V.
– In 2005 gestart door een management buy-out van Deloitte Consultancy
– Gespecialiseerd in Applicatie Management en monitoring (24x7)
– Veel expertise op het gebied van data integratie en software ontwikkeling
– In 2006 gestart met business unit (datamanagement en integratie)
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
4. A view from the present
“Data Age … Information Age … the Knowledge Era”
Knowledge
Knowledge
Generation
Generation
•Web Portals Information
Information
•ERP II Interpretation
Interpretation
•Predictive
•Year 2000 behavior
•112 •Preventive
•911 •Embedded actions
Intelligence •Learning
•On-Line Information
Information •Action based on engines
Business Supply
Supply value
•Governance and
Knowledge Level
•CRM
Compliance
•Terrorism
•Fraud Detection
•Reporting Information
Information
tools Generation
Generation
•Data
•ERP I
Warehouse
•Dynamic Portals
•Info anywhere
•Entertainment is
Data
Data business
Interpretation
Interpretation
Data
Data
Generation
Generation .Imagine
.KNOW
.COM .Fear .ME
.Crunch
.Calc
Time
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
5. De invloed van slechte datakwaliteit
“Data quality problems cost North American businesses
more than $600 billion dollars a year.”
“By 2005, Fortune 1000 enterprises will lose more money in
operational inefficiency due to data quality issues than they
will spend on data warehouse and CRM initiatives.”
“In recent discussions with more than 30 companies, not
one expressed a strong level of confidence in the quality
of customer data or satisfaction with the company’s overall
approach to managing and integrating customer data.”
“Poor quality of customer data costs Dutch businesses € 400
billion a year based on direct costs only. The indirect
costs will be much higher.”
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
6. De invloed van slechte datakwaliteit
De invloed van data kwaliteit wordt nog steeds onderschat
“Data warehouses play a crucial role in the success of a
Resultaten van ERP, CRM en BI implementaties worden negatief beïnvloed door het
business intelligence (BI) program. However, through 2007,
beperkte bewustzijn van data kwaliteit
more than 50 percent of data warehouse projects will have
limited acceptance, or will be outright failures, as a result of a
Strategische en tactische besluiten zijn moeilijk quality issues, according to Gartner”
lack of attention to data te maken gebaseerd op data van
slechte kwaliteit
Data kwaliteit is niet alleen een IT issue. Datakwaliteit moet worden geadresseerd
op strategisch niveau
Datakwaliteit heeft constant aandacht nodig mede gebaseerd op een methode en/
of vaste cyclus
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
7. Waar te beginnen?
assess implementeer monitor
Opstellen
businescase
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
8. assess implementeer monitor
Het doel van het assessment framework
• Het meten van de huidige data kwaliteit
• Het weergeven van het bewustzijn van een organisatie op het gebied van
datakwaliteit, gebaseerd op visie en uitvoering
• Het in kaart brengen van mogelijke korte- en lange termijn verbeteringen
• In korte tijd uit te voeren
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
9. assess implementeer monitor
De onderdelen van het assessment framework
• Het assessment framework bestaat uit de volgende onderdelen:
Procedure Het procedure document beschrijft hoe het
document assessment wordt uitgevoerd
De questionnaire bestaat uit 47 vragen in verschillende categorieën;
Questionnaire systemen, management en eigenaarschap, data-invoer en
validatie, datatransformatieprocessen en beheer
De data collectie database wordt gebruikt om de klant data in te
Data collectie
laden voor analyse. Voor de uitvoer van de analyse is een set
database
aan queries ontwikkeld
Een voorgedefinieerde presentatie template is ontwikkeld
Predefined final
om de assessment resultaten op een gestructureerde manier
report
te presenteren
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
10. assess implementeer monitor
Procedure document
• Het procedure document ligt de aanpak van het assessment toe. Het document geeft een
overzicht van alle assessment activiteiten
• De inhoud is verdeeld in de volgende paragrafen;
– Introductie,
– Voorwaarden,
– Activiteiten, Activity Needed customer Duration
– Resultaten resources
– Conclusie Kick-off meeting Data owner, database 2 hours
Standaard kick-off administration, functional
presentatie application management
Questionnaire completion Data owner, functional 4 hours
application management
Co-Brand Logo
Questionnaire discussion Data owner, functional 2 hours
application management
Data extraction Database administration 2 hours
Data Quality Assessment.
Data loading Database administration 2 hours
Kick-off meeting
Location, Date Final Results meeting All above 2 hours
De tabel hier boven geeft een overzicht van de activiteiten,
benodigde resources en een inschatting van de benodigde
tijd voor de resources om de activiteiten af te ronden
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
11. assess implementeer monitor
Questionnaire
• De datakwaliteit questionnaire wordt gebruikt om een overzicht te krijgen van
de klant omgeving in relatie tot de relationele datakwaliteit
• De questionnaire bestaat uit 47 vragen in vijf categorieën
• De gedefinieerde categorieën zijn:
– (Klant)systemen,
– management en eigenaarschap,
– data-invoer en validatie,
– datatransformatieprocessen,
– beheer
• De questionnaire is in MS Excel formaat
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
12. assess implementeer monitor
Data collectie database
• De data collectie database wordt gebruikt voor het inladen van de klant
specifieke data die verder geanalyseerd wordt door de uitvoer van
verschillende queries.
Results are displayed in
Predefined table a specific results table
Extraction of data can
scheme with predefined (analysis table)
be delivered as MS
assessment queries
Access, MS Excel or flat
file
Data Result
Customer Import scripts collection Assessment queries
documents
database
database
Import scripts are used Assessment queries are
to load the predefined executed to generate
tables the results data
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
13. assess implementeer monitor
Voorgedefinieerde eindrapportage
• De eindrapportage geeft alle resultaten in een presentatie vorm weer. De
resultaten van de questionnaire en de data analyse zijn opgenomen in deze
presentatie. Daarnaast wordt een overall data kwaliteitscijfer gegeven en
algemene conclusies getrokken
Co-Brand Logo
Data Quality Assessment. Kick-off agreements
Final report
Location, Date • Overview of agreements made during kick-off
Agreement 1
1
Agreement 2
2
Assessment activities
Follow up?
Follow
Overview of assessment activities with check on completeness Not done
Agreement 3
3
Pending
status Done
Agreement 1
1
Kick-off meeting
1 14-Aug-06 <presentation title, change before presenting!!> ©2006 eXDe Solutions. All rights reserved
Questionnaire completion
Questionnaire summary results
Questionnaire discussion
CRM Systems Data transformation
processes
Data extraction
...... ......
...... ......
Data assessment ...... ......
Organizational
management and
ownership Exploitation
3 14-Aug-06 <presentation title, change before presenting!!> ©2006 eXDe Solutions. All rights reserved
...... ......
Graph results
...... ......
...... ......
Data entry and
• Results overview of questionnaire.
validation
......
......
Organization QRS
......
Vision
4 14-Aug-06 <presentation title, change before presenting!!> ©2006 eXDe Solutions. All rights reserved
Organization XYZ
Execution
9 14-Aug-06 <presentation title, change before presenting!!> ©2006 eXDe Solutions. All rights reserved
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
14. assess implementeer monitor
Definitie van datakwaliteit
• Een veel gebruikte definitie van datakwaliteit gebaseerd op de inzichten van
Joseph Juran is:
“Data are high of quality if they are fit for their intended uses in operations,
decision making and planning. Data are fit for use if they are free of defects
and posses desired features”.
• Om datakwaliteit te kunnen meten moeten meetbare categorieën worden
bepaald
• Veel gebruikte meetbare categorieën zijn: Actueel, Compleet, Correct en Uniek
(ACCU)
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
15. assess implementeer monitor
Datakwaliteit meetbare categorieën
Vormen de gegevens een afbeelding van de werkelijkheid?
Actualiteit
Zijn ze nog actueel?
Zijn de gegevens compleet binnen een record?
Compleetheid
Zijn de gegevens compleet t.o.v. het breder universum?
Is het formaat correct?
Correctheid
Is de inhoud correct? Is de data integer?
Uniciteit Komt elke relatie maar één keer voor in de database?
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
16. assess implementeer monitor
Datakwaliteit gemeten (1)
• Datakwaliteit is een begrip met name gebaseerd op de perceptie van
de organisatie zelf
• Er is geen algemene definitie van goede of slechte datakwaliteit
• Er zijn geen percentages die een goed datakwaliteitsniveau bepalen
• Datakwaliteit moet gemeten worden op die attributen die essentieel
zijn voor de strategie en processen van een organisatie
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
17. assess implementeer monitor
Datakwaliteit gemeten (2)
• Iedere categorie kan op basis van de essentiële attributen gemeten worden.
Een overall score kan worden berekend met de volgende formule:
CIJFER = (Actualiteit+Compleetheid+Correctheid+Uniciteit)/4
• De individuele cijfers kunnen worden berekend op basis van de volgende
formule:
CIJFER = 10 – (totaal percentage/aantal attributen)
• Het uiteindelijke cijfer geeft een kwaliteitsniveau weer op een tienpuntsschaal.
Dit cijfer wordt met name gebruikt om het datakwaliteitsniveau tastbaar te
maken. Het cijfer geeft geen waardeoordeel in de zin van goed of slecht
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
18. assess implementeer monitor
Datakwaliteit gemeten (3)
• Op basis van aanvullende vraagstelling rondom de organisatorische inbedding
van datakwaliteit binnen een organisatie kan de volwassenheid van een
organisatie op het gebied van datakwaliteit worden gemeten.
Organization QRS
Vision
Execution
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
19. assess implementeer monitor
Business Case
• Stel een business case op om kosten en investeringen van een
datakwaliteitsprogramma te rechtvaardigen
• Stel de business case op vanuit een business perspectief;
– Wat levert het een sales-, marketing- of callcentermanager op?
• Stel de business case op in samenwerking met verschillende afdelingsmanagers
• Houd het eenvoudig (verre detaillering is meestal niet noodzakelijk en zorgt
voor veel informatie, waar veel vragen over komen)
• Kijk naar benchmark en branche gegevens
• Gebruik scenario's; niets doen zal meer geld gaan kosten!
• Zoek naar onderdelen die leiden tot verbetering van de concurrentie positie
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
20. assess implementeer monitor
Implementatie
• Definieer een helder programma met concrete doelen en opbrengsten
• Splits het programma op in kleine deelprojecten met duidelijke producten en
frequent resultaat (minimaal één resultaat per 3 maanden)
• COMMUNICEER!!
• Denk goed aan de organisatorische inbedding!
• Zorg voor sponsorship op management niveau
• Zorg voor borging in de staande organisatie
• Denk naast correctieve maatregelen ook aan preventieve maatregelen
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
21. assess implementeer monitor
Monitor
• Het regelmatig meten van datakwaliteit is belangrijk
• Het meten geeft inzicht in ontwikkeling van de kwaliteit
• Ontwikkel initiatieven voor het verder verbeteren van onderdelen die
teruglopen in kwaliteit
• De meting eventueel bijstellen wanneer andere attributen belangrijk worden
• Een DQ dashboard kan een goed instrument zijn om op regelmatige basis te
rapporteren over de datakwaliteit
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
22. “The only place where success comes before work is in the dictionary.”
– Vidal Sassoon
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
23. Meer informatie?
eXDe Solutions B.V.
Postadres
Postbus 711
4600 AS Bergen op Zoom
Bezoekadres
Wattweg 7
4622 RA Bergen op Zoom
Jack van den Brink +31 (0)164 21 33 00
+31 (0)652 05 57 06
+31 (0)164 21 33 09
www.exde.nl
Jvandenbrink@exde.nl @ info@exde.nl
28-Aug-06 DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved
24. eXDe Solutions B.V. , a private company with limited liability under Dutch law, with its statutory seat in
Breda, the Netherlands, having its principal place of business at Wattweg 7, 4622 RA Bergen op Zoom the
Netherlands. For more information, please visit the Netherlands member firm’s website at www.exde.nl.
eXDe28-Aug-06B.V. is an official alliance partner of
Solutions DDMA’s Dag van de Datakwaliteit ©2006 eXDe Solutions. All rights reserved