“ Fehler vorprogrammiert?!” Breakfast Session, 26.05.2009 – Hotel im Wasserturm/Köln

Customer Data Integration (CDI) Projekte sind oftmals mit viel Zeit, Resourcen und hohen Budget verbunden. Worum geht es genau? Daten von einem Altsystem in ein Neusystem überführen Transformation der Datenmodelle Definiertes Ende, gehört nicht zum Betrieb Wann ist das notwendig? Einführung eines neuen Systems, das existierende Aufgaben eines oder meherer anderer Systeme übernimmt Ablösung eines Altsystems durch ein bereits produktives System Was ist daran so schwierig? Datensemantik Datenkonsistenz und Datenqualität Risikoeinschätzung

Worum geht es genau?

Daten von einem Altsystem in ein Neusystem überführen

Transformation der Datenmodelle

Definiertes Ende, gehört nicht zum Betrieb

Wann ist das notwendig?

Einführung eines neuen Systems, das existierende Aufgaben eines oder meherer anderer Systeme übernimmt

Ablösung eines Altsystems durch ein bereits produktives System

Was ist daran so schwierig?

Datensemantik

Datenkonsistenz und Datenqualität

Risikoeinschätzung

Schwierigkeiten bei der Datensemantik Abkürzungen & Akronyme: Bayerische Motorenwerke = BMW Context Art Gallery Jones ist nicht Art G. Jones Standardisierung Müller, Markus = M. Müller = männlich Gilt das? Le Galloudec ist richtig, aber Galloudec ohne ‘Le’ existiert als Nachname nicht Transcription und Transliteration ڦکێگڝڗ , Mohammad, Moehammet, Muhamet; Kulturelle Aspekte Kasparov / Kasparova Sonderzeichen: Güçlütürk = Goekloetoerk

Abkürzungen & Akronyme:

Bayerische Motorenwerke = BMW

Context

Art Gallery Jones ist nicht Art G. Jones

Standardisierung

Müller, Markus = M. Müller = männlich

Gilt das?

Le Galloudec ist richtig, aber Galloudec ohne ‘Le’ existiert als Nachname nicht

Transcription und Transliteration

ڦکێگڝڗ , Mohammad, Moehammet, Muhamet;

Kulturelle Aspekte

Kasparov / Kasparova

Sonderzeichen:

Güçlütürk = Goekloetoerk

Die Ursachen mangelnder Datenqualität sind vielfältig Dubletten Groß/Kleinschreibung Inkonsistenzen Mißbrauch von Feldern Fehlerhafte Adressen

Risiken Imageschaden Glaubwürdigkeit Finanzielle Strafen (z.B. mangelnde Compliance)

Imageschaden

Glaubwürdigkeit

Finanzielle Strafen (z.B. mangelnde Compliance)

ETL: Traditionelle Methodik Im Hinblick auf die Datenqualität ist ETL zwar ein sinnvolles Tool für die Konvertierung oder Standardisierung, jedoch nicht für die Korrektur oder Verbesserung von Daten . Daneben ist ETL mit einer Konvertierung von Daten vor ihrer Speicherung in einem Data Warehouse, Datamart oder einer neuen Zieldatenbank eher auf den Datenfluss fokussiert. Subjektspezifische Daten wie Kunden- oder Produktdaten stehen nicht im Mittelpunkt.“ Data based Advisor “Data Quality: A Problem and an Approach” DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records load Target System

Data Quality Audit:  Analyse der zu migrierenden Daten Konzeption :  Grob- und Detailkonzept Umsetzung (Installation, Konfiguration, Scripte, ...) Testphase Abnahme und Inbetriebnahme Vorgehensweise bei Move & Improve

Data Quality Audit:

 Analyse der zu migrierenden Daten

Konzeption :  Grob- und Detailkonzept

Umsetzung (Installation, Konfiguration, Scripte, ...)

Testphase

Abnahme und Inbetriebnahme

ETL mit Move & Improve DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting 4. Data Improver 5. Merge & Enrich „Golden Record“

DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit ETL mit Move & Improve

Data Quality Audit Vorgehensweise: - Durchführung eines Workshop in Zusammenarbeit mit dem Projektteam und Vertretern der IT- und Fachabteilungen. - Analyse der Datenstruktur und der Feldinhalte hinsichtlich Vollständigkeit, Konsistenz und fehlerhaften Störelementen (Erika Mustermann, Test-Test, asdfg, qwertz, etc.). - Analyse der Bestandsliste hinsichtlich Crossreferenzen durch Einsatz der im Workshop abgestimmten Regeln. - Auswertung und Dokumentation der Ergebnisse. - Präsentation der Ergebnisse

Ergebnis Feldprüfung

Adressprüfung 18,00% 528 Manuelle Korrektor notwendig 10,00% 292 Nicht eindeutig Korrigiert 72,00% 2.107 Automatisch Korrigiert 12,32% 2.927 Verschmutze Adressen 77,68% 33.130 Saubere Adressen 100,00% 36.057 Addressen Gesamt

Ergebnis Data Quality Audit

DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption ETL mit Move & Improve

Projektkonzeption „Move & Improve“ Analyse Grobkonzept Feinkonzept Umsetzung der Migrationsplanung Initialer Migrationslauf Inkrementeller Migrationslauf Migrationskonzept Ergebnisse des DQA Design und Architektur des Zielsystems Ablaufplanung Detailplanung Architektur Zielsystem Festlegung der Definitionen zu Datenkonvertierung, Datenmigration, Data Mapping Regeln zur Datenbereinigung und Dublettensuche Data Quality Prozess Definition Fallback-Lösung Regeln des “Golden Records” Import ins Zielsystem Behandlung der Deltadaten Testkonzept

Migrationskonzept

Ergebnisse des DQA

Design und Architektur des Zielsystems

Ablaufplanung

Detailplanung Architektur Zielsystem

Festlegung der Definitionen zu Datenkonvertierung, Datenmigration, Data Mapping

Regeln zur Datenbereinigung und Dublettensuche

Data Quality Prozess Definition

Fallback-Lösung

Regeln des “Golden Records”

Import ins Zielsystem

Behandlung der Deltadaten

Testkonzept

DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Human Inference: Move & Improve

Transformieren und Standardisieren: unstrukturierte Kundendaten interpretieren und korrekt kennzeichnen Ursprungsdaten genau analysieren und korrekt in das System eingliedern höchste Qualitätsniveau durch Zurückgreifen auf länder- und kulturspezifisches Wissen. Kein aufwändiges Schreiben von Hunderten von Zerlegungs- und Transformationsskripts zum Laden der Daten in richtiger Weise Human Inference ist eines der ersten Unternehmen, das die internationalen Standards im Bereich der Datenqualitätsformate (wie CEN/UPU) unterstützt.

unstrukturierte Kundendaten interpretieren und korrekt kennzeichnen

Ursprungsdaten genau analysieren und korrekt in das System eingliedern

höchste Qualitätsniveau durch Zurückgreifen auf länder- und kulturspezifisches Wissen.

Kein aufwändiges Schreiben von Hunderten von Zerlegungs- und Transformationsskripts zum Laden der Daten in richtiger Weise

Human Inference ist eines der ersten Unternehmen, das die internationalen Standards im Bereich der Datenqualitätsformate (wie CEN/UPU) unterstützt.

DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move and Improve 4. Data Improver

HI Data Improver (aka Waschstrasse )

DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move & Improve 4. Data Improver 5. Merge & Enrich „Golden Record“

Merge – Datenvermischung Golden Record - Generierung eines einzigen Datensatzes = Beste Informationen aus mehreren ähnlichen Datensätzen (Dubletten) schnelle Bewertung und Zusammenführung von Daten aus Gruppen potentiell doppelter Datensätze Zwei Standard-Methoden der Zusammenführung: Automatisch : Auf Basis vordefinierter Business Rules können Datensätze automatisch zusammengeführt werden. Effekt: Reduzierung der Verarbeitungszeit und Fehlerhäufigkeit in der Beurteilung durch den Menschen Manuell : Intuitive Schnittstelle lässt die Datensätze, die nicht automatisch zusammen geführt wurden, rasch bewerten und Werte, die bestehen bleiben sollen, auswählen.

Golden Record - Generierung eines einzigen Datensatzes

= Beste Informationen aus mehreren ähnlichen Datensätzen (Dubletten)

schnelle Bewertung und Zusammenführung von Daten aus Gruppen potentiell doppelter Datensätze

Zwei Standard-Methoden der Zusammenführung:

Automatisch : Auf Basis vordefinierter Business Rules können Datensätze automatisch zusammengeführt werden. Effekt: Reduzierung der Verarbeitungszeit und Fehlerhäufigkeit in der Beurteilung durch den Menschen

Manuell : Intuitive Schnittstelle lässt die Datensätze, die nicht automatisch zusammen geführt wurden, rasch bewerten und Werte, die bestehen bleiben sollen, auswählen.

Automatische Datenvermischung Beispiele für Business Rules: Automatisches Zusammenführen nur bei Datensätzen mit ausreichender Übereinstimmung (Scorewert). Attributwert(e) des „besten“ Datensatzes als Referenzwert (Eyecatcher Datensatz) Attributwert(e) des aktuellsten Datensatzes als Referenzwert. Attributwert(e) des vollständigsten Datensatzes als Referenzwert.

Beispiele für Business Rules:

Automatisches Zusammenführen nur bei Datensätzen mit ausreichender Übereinstimmung (Scorewert).

Attributwert(e) des „besten“ Datensatzes als Referenzwert (Eyecatcher Datensatz)

Attributwert(e) des aktuellsten Datensatzes als Referenzwert.

Attributwert(e) des vollständigsten Datensatzes als Referenzwert.

Manuelle Datenvermischung

Ein Mass für den Erfolg des Projektes sind die Ergebnisse aus den Audits! Führt man nach Abschluss der Datenmigration den gleichen Audit nochmal durch und vergleicht ihn mit den Ergebnissen des ersten Audits, hat man hier einen wesentlichen Indikator für den Erfolg des Projektes .

Warum sind dann in reinen Datenmigrationsprojekten Fehler vorprogrammiert? Keine DQ Analyse der Ursprungsdaten. Länder- und kulturspezifische Eigenarten werden nicht berücksichtigt Keine Verbesserung der Datenqualität Erhöhung der Projektrisiken Schleichende Projektfolgekosten ROI?

Keine DQ Analyse der Ursprungsdaten.

Länder- und kulturspezifische Eigenarten werden nicht berücksichtigt

Keine Verbesserung der Datenqualität

Erhöhung der Projektrisiken

Schleichende Projektfolgekosten

ROI?

Fragen?

Vielen Dank für Ihre Aufmerksamkeit Kontakt: Paul Tours Senior Consultant Human Inference Hammfelddamm 4a 41460 Neuss Tel: +49 2131 403170 Fax: +49 21314031770 Mobile: +49 171 3811709 Internet: www.humaninference.com Email: [email_address]