10 Passi per la gestione del Mapping dei Dati cross-sistema
Nella gestione di dati strutturati, come nel caso di un Data Warehouse Tradizionale, si deve affrontare la problematica della riconciliazione dei dati rappresentanti una stessa entità ma provenienti da diverse sorgenti. Molto spesso questa attività viene sottovalutata e gestita in maniera non strutturata attraverso l'uso di regole condizionali (IF, CASE, etc.) inserite direttamente nel codice su Database e/o sullo strumento ETL: questa situazione determina spesso la perdita di controllo su quali, quante e dove sono le decodifiche applicate nel processo di Acquisizione e/o Trasformazione Dati. In molti casi, questo si traduce in alti costi per la gestione operativa e quella evolutiva del sistema. Per quanto mi riguarda, cerco di tenere a mente questi 10 passi quando mi trovo ad affrontare la progettazione del Mapping dei Dati: anche quando non è stato possibile applicare il processo nella sua interezza, ho sempre avuto modo di riscontrare dei benefici durante le fasi di manutenzione ordinaria, evolutiva e correttiva del sistema. Tali vantaggi risultavano particolarmente evidenti soprattutto se confrontavo il sistema gestito in questa modalità con parti dello stesso sistema e/o sistemi esterni speculari, che utilizzavano una gestione non strutturate dei Mapping.
10 Passi per la gestione del Mapping dei Dati cross-sistema
Nella gestione di dati strutturati, come nel caso di un Data Warehouse Tradizionale, si deve affrontare la problematica della riconciliazione dei dati rappresentanti una stessa entità ma provenienti da diverse sorgenti. Molto spesso questa attività viene sottovalutata e gestita in maniera non strutturata attraverso l'uso di regole condizionali (IF, CASE, etc.) inserite direttamente nel codice su Database e/o sullo strumento ETL: questa situazione determina spesso la perdita di controllo su quali, quante e dove sono le decodifiche applicate nel processo di Acquisizione e/o Trasformazione Dati. In molti casi, questo si traduce in alti costi per la gestione operativa e quella evolutiva del sistema. Per quanto mi riguarda, cerco di tenere a mente questi 10 passi quando mi trovo ad affrontare la progettazione del Mapping dei Dati: anche quando non è stato possibile applicare il processo nella sua interezza, ho sempre avuto modo di riscontrare dei benefici durante le fasi di manutenzione ordinaria, evolutiva e correttiva del sistema. Tali vantaggi risultavano particolarmente evidenti soprattutto se confrontavo il sistema gestito in questa modalità con parti dello stesso sistema e/o sistemi esterni speculari, che utilizzavano una gestione non strutturate dei Mapping.
Recommended
More Related Content
Similar to 10 Passi per la gestione del Mapping dei Dati cross-sistema
Similar to 10 Passi per la gestione del Mapping dei Dati cross-sistema(20)
More from Pier Giuseppe De Meo
More from Pier Giuseppe De Meo(9)
10 Passi per la gestione del Mapping dei Dati cross-sistema
- 1. 10 PASSI PER LA GESTIONE DEL MAPPING DEI DATI CROSS-SISTEMA DI PIER GIUSEPPE DE MEO #1 Identificare le caratteristiche del Mapping: sistemi sorgenti coinvolti, natura e tipologia dei dati da decodificare, variabilità nel tempo del Mapping (ad es. decodificare il codice cliente scaricato giornalmente dai 2 sistemi di CRM e Billing). Knowledge Share Serie 3 Integrazione Dati cross-sistema "ho sempre avuto modo di riscontrare dei benefici durante le fasi di manutenzione ordinaria, evolutiva e correttiva del sistema" #2 Identificare la categoria del Mapping: Riconciliazione Dati o Trasformazione Dati (ad es. Riconciliazione Dati cross-sistema per codice cliente; Trasformazione Dati per raggruppamenti in macro-tipologie di cliente). #3 Identificare la tipologia del Mapping: Configurazione Statica o Mapping Dinamico (ad es. Configurazione Statica per tipologica "genere"; Mapping Dinamico per codice cliente) #4 Posizionare le strutture di Riconciliazione Dati (Statiche e Dinamiche) in Area di Staging o nel Riconciliato: queste strutture intervengono subito nel processo e predispongono i dati all'integrazione. #5 Creare le strutture di Riconciliazione Dati includendo: chiave surrogata del mapping (utilizzabile come enterprise key del dato), campi di servizio per la gestione delle variazioni (data inserimento/modifica, flag record attivo, etc.) e campi di decodifica (codice destinazione, codice sorgente1, codice sorgente2, etc.) #6 Creare processi di aggiornamento automatico per le strutture di Riconciliazione Dati Dinamiche capaci di intercettare nuovi valori provenienti dal dai sistemi sorgente (per le informazioni incluse nei mapping) ed inserirle nel mapping con valori di default. #7 Posizionare le strutture di Trasformazione Dati (Statiche e Dinamiche) in Area di Integrazione o nei DataMart: queste strutture intervengono nel processo in fase di aggregazione del dato che può avvenire o nel processo di integrazione o direttamente sui DataMart. #8 Creare le strutture di Trasformazione Dati includendo: chiave surrogata del mapping (opzionale), campi di servizio per la gestione delle variazioni (opzionale) e campi di mapping (enterprise key dwh e/o codice sorgente legacy, codice trasformazione1, codice trasformazione2, etc.). #9 Creare processi di aggiornamento automatico per le strutture di Trasformazione Dati Dinamiche capaci di intercettare nuovi valori provenienti dal DWH e/o dai sistemi sorgente (per le informazioni incluse nei mapping) ed inserirle nel mapping con valori di default. #10 Creare processi di monitoraggio per evidenziare la presenza di nuove informazioni nelle strutture di Mapping con valori di default, che necessitano di essere configurate.