Data Quality & AI:
impatto e livelli di preparazione
nelle aziende
Osservatorio Big Data & Business Analytics
04.06.2024
1
Progetto di ricerca svolto in collaborazione con Irion
Irene Di Deo
Ricercatrice Senior
irene.dideo@polimi.it
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Obiettivi e metodologia
❑ L’attuale attenzione, anche mediatica, sull’Artificial Intelligence sta avendo un impatto concreto sulla gestione dei dati
nelle organizzazioni? Perché è sempre più rilevante parlare di data quality?
❑ A che punto sono le medio-grandi aziende italiane nella gestione della qualità dei dati e quali azioni stanno
implementando?
Metodologia
Survey CAWI che ha coinvolto 158 medio-grandi imprese italiane
Imprese utenti, che non hanno come core business la tecnologia o l’offerta di servizi tecnologici
Domande di ricerca
Fascia di addetti
Da 250 in su
66%
Tra 50 e 249
34%
158
aziende
Settore
9%
10%
15%
15%
18%
33%
Utility
Trasporto e
logistica
Servizi alla
persona e altre…
Commercio
Terziario
avanzato
Manifattura
Centro
18%
Sud e isole
13%
Area Geografica
Nord-ovest
40% Nord-est
29%
Classe di fatturato
7%
32%
61%
Oltre 500 milioni di
euro
Tra 100 e 500 milioni di
euro
Tra 50 e 100 milioni di
euro
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
L’attuale attenzione, anche mediatica, sull’Artificial Intelligence
sta avendo un impatto concreto sulla gestione dei dati nelle
organizzazioni?
Perché è sempre più rilevante parlare di Data Quality?
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
26%
59%
15%
Il punto di partenza: maturità in ambito analisi dei dati
Circa tre quarti delle medio-grandi aziende non possono essere definite “AI-ready”
AI-ready: aziende che hanno avviato
progettualità di analisi avanzata
Business Intelligence focus: aziende
che hanno consolidato le attività di
reportistica e di analisi descrittiva
Immature: aziende in cui le attività di
analisi dati sono sporadiche, per lo più
a silos e basate sul foglio elettronico
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Un «momento unico» per la gestione dei dati
21%
69%
10%
Nessun impatto
Si parla di più del tema
ma all’atto pratico non è
cambiato nulla
Impatto concreto
positivo
Solo il 31% segnala un impatto positivo
dell’attuale hype su AI/GenAI sulla gestione dei dati
22%
52%
26%
Nessun impatto
Si parla di più del
tema ma all’atto
pratico non è
cambiato nulla
Impatto concreto
positivo
Con impatto concreto positivo si intendono: la definizione di una strategia complessiva di
valorizzazione dei dati, la definizione di un budget dedicato (se già non presente), l’avvio di
sperimentazioni in ambiti innovativi (es. agenti conversazionali, utilizzo di LLM)
Nelle aziende “AI-ready”…
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Un «momento unico» per la gestione dei dati
Le barriere per l’adozione di ML/AI sono sempre relative a
integrazione, preparazione e qualità dei dati
2%
7%
53%
80%
91%
3%
6%
14%
64%
78%
83%
Implicazioni di privacy e
Cybersecurity
Livello di digitalizzazione
dell'organizzazione
Identificazione di business case
coerenti con le necessità aziendali
Reperibilità di dati esterni di buona
qualità
Attività di preparazione/pulizia dei
dati interni
Attività di integrazione dei dati
Totale
AI-ready
Business Intelligence focus
Immature
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Fonte: Gartner, stima 2023
Il costo medio di una scarsa Data Quality è 10.8 milioni di
dollari l’anno per azienda
Data Quality… Una questione di consapevolezza!
Un’azienda su cinque dichiara di aver avuto un danno economico diretto
dovuto alla scarsa Data Quality
Esempi: danni reputazionali dovuti alla condivisione
con i clienti di informazioni errate, errori nella gestione
dei processi, costi di compliance e inefficienze
Questa perdita generalmente deriva da:
“Spreco” di
risorse per la
pulizia e la
correzione dei
dati
Analisi
inaccurate
che portano a
decisioni
errate
Opportunità
mancate a
causa di
insights
inaffidabili
Maggiore consapevolezza
dei rischi nelle aziende
“AI-ready” (41%)
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
A che punto sono le medio-grandi aziende italiane nella
gestione della qualità dei dati e quali azioni stanno
implementando?
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Un modello di sintesi
Processi e
tecnologie
Competenze e
organizzazione
Strategia
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Circa un’azienda su due ha definito un programma di Data Management
47%
5%
18%
13%
17%
Sì, ben avviato ed
efficace
Sì, avviato in modo efficace
in alcune funzioni aziendali
Sì, ma non è
particolarmente efficace
E’ in fase di
implementazione
No, ma lo vogliamo
introdurre a breve
No, non ne avvertiamo
l’esigenza
Solo il 18% dichiara un aumento
sostanziale del budget 2024
rispetto al 2023
Processi e
tecnologie
Competenze e
organizzazione
Strategia
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Il 43% ha figure che, anche informalmente, presidiano il tema Data Quality
Il 19% ha incrementato il numero di
figure dedicate negli ultimi 3 anni.
La percentuale raggiuge il 37% nelle
aziende AI-ready
43%
60%
41%
21%
E' presente un Data Quality Manager
Totale
AI-ready
Business Intelligence
focus
Immature
Competenze e
organizzazione
Strategia
Processi e
tecnologie
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Nel complesso, circa il 30% ha strutturato e reso pervasivi processi e
tecnologie di Data Quality
29%
30%
37%
19%
23%
20%
52%
47%
43%
Progetti di miglioramento della qualità dei
dati
Controlli automatizzati di Data Quality
Chiare regole di Data Quality
Strategia
Processi e
tecnologie
Competenze e
organizzazione
28%
29%
32%
24%
8%
21%
48%
63%
47%
Tecnologie per la gestione dei metadati
Funzionalità di Augmented Data Quality
Tecnologie dedicate alla Data Quality
Presenti e diffusi in azienda
Utilizzati saltuariamente/difficoltà di
manutenzione
Non presenti
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Un percorso avviato… Ma la velocità è sufficiente?
Circa un’azienda su due ha al proprio interno almeno una
figura di riferimento sulla qualità dei dati
Solo il 30% delle organizzazioni porta avanti continuativamente
progetti di miglioramento della qualità dei dati e ha almeno una
tecnologia dedicata
Circa un’azienda su due ha definito un programma di Data
Management
Processi e
tecnologie
Competenze e
organizzazione
Strategia
Le aziende AI-ready sono più
mature su tutte le dimensioni!
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
MEDIE IMPRESE
Data Quality: le differenze dimensionali
Aziende che possono essere
definite “AI-ready”
Aziende che hanno avviato un
programma di Data Management
Aziende con un programma di
Data Management in fase di
implementazione
15%
38%
32%
32%
60%
11%
GRANDI IMPRESE
04.06.2024
Osservatorio Big Data & Business Analytics
COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE
Messaggi chiave
▪ Il percorso di valutazione della data quality non è lineare. Maggiore è l’utilizzo
dei dati maggiore è la consapevolezza delle problematiche
▪ Per trasformare l’hype sull’AI/GenAI in benefici concreti, l’unica strada è
lavorare su integrazione e qualità dei dati
▪ Siamo all’inizio del percorso: le normative hanno favorito la definizione di un
programma di Data Management nelle organizzazioni, ma processi e
tecnologie in campo non sono sufficienti per affrontare le nuove sfide
dell’AI
▪ Le aziende più avanzate sulle attività di analisi si sono mosse per mitigare le
problematiche di data quality con tecnologie e competenze dedicate.
Non c’è una riduzione del gap!
Data Quality & AI:
impatto e livelli di preparazione
nelle aziende
Osservatorio Big Data & Business Analytics
04.06.2024
16
Progetto di ricerca svolto in collaborazione con Irion
Irene Di Deo
Ricercatrice Senior
irene.dideo@polimi.it
Grazie dell’attenzione!

Presentazione Irion e PoliMi - Oss. Data Quality e IA

  • 1.
    Data Quality &AI: impatto e livelli di preparazione nelle aziende Osservatorio Big Data & Business Analytics 04.06.2024 1 Progetto di ricerca svolto in collaborazione con Irion Irene Di Deo Ricercatrice Senior irene.dideo@polimi.it
  • 2.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Obiettivi e metodologia ❑ L’attuale attenzione, anche mediatica, sull’Artificial Intelligence sta avendo un impatto concreto sulla gestione dei dati nelle organizzazioni? Perché è sempre più rilevante parlare di data quality? ❑ A che punto sono le medio-grandi aziende italiane nella gestione della qualità dei dati e quali azioni stanno implementando? Metodologia Survey CAWI che ha coinvolto 158 medio-grandi imprese italiane Imprese utenti, che non hanno come core business la tecnologia o l’offerta di servizi tecnologici Domande di ricerca Fascia di addetti Da 250 in su 66% Tra 50 e 249 34% 158 aziende Settore 9% 10% 15% 15% 18% 33% Utility Trasporto e logistica Servizi alla persona e altre… Commercio Terziario avanzato Manifattura Centro 18% Sud e isole 13% Area Geografica Nord-ovest 40% Nord-est 29% Classe di fatturato 7% 32% 61% Oltre 500 milioni di euro Tra 100 e 500 milioni di euro Tra 50 e 100 milioni di euro
  • 3.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE L’attuale attenzione, anche mediatica, sull’Artificial Intelligence sta avendo un impatto concreto sulla gestione dei dati nelle organizzazioni? Perché è sempre più rilevante parlare di Data Quality?
  • 4.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE 26% 59% 15% Il punto di partenza: maturità in ambito analisi dei dati Circa tre quarti delle medio-grandi aziende non possono essere definite “AI-ready” AI-ready: aziende che hanno avviato progettualità di analisi avanzata Business Intelligence focus: aziende che hanno consolidato le attività di reportistica e di analisi descrittiva Immature: aziende in cui le attività di analisi dati sono sporadiche, per lo più a silos e basate sul foglio elettronico
  • 5.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Un «momento unico» per la gestione dei dati 21% 69% 10% Nessun impatto Si parla di più del tema ma all’atto pratico non è cambiato nulla Impatto concreto positivo Solo il 31% segnala un impatto positivo dell’attuale hype su AI/GenAI sulla gestione dei dati 22% 52% 26% Nessun impatto Si parla di più del tema ma all’atto pratico non è cambiato nulla Impatto concreto positivo Con impatto concreto positivo si intendono: la definizione di una strategia complessiva di valorizzazione dei dati, la definizione di un budget dedicato (se già non presente), l’avvio di sperimentazioni in ambiti innovativi (es. agenti conversazionali, utilizzo di LLM) Nelle aziende “AI-ready”…
  • 6.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Un «momento unico» per la gestione dei dati Le barriere per l’adozione di ML/AI sono sempre relative a integrazione, preparazione e qualità dei dati 2% 7% 53% 80% 91% 3% 6% 14% 64% 78% 83% Implicazioni di privacy e Cybersecurity Livello di digitalizzazione dell'organizzazione Identificazione di business case coerenti con le necessità aziendali Reperibilità di dati esterni di buona qualità Attività di preparazione/pulizia dei dati interni Attività di integrazione dei dati Totale AI-ready Business Intelligence focus Immature
  • 7.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Fonte: Gartner, stima 2023 Il costo medio di una scarsa Data Quality è 10.8 milioni di dollari l’anno per azienda Data Quality… Una questione di consapevolezza! Un’azienda su cinque dichiara di aver avuto un danno economico diretto dovuto alla scarsa Data Quality Esempi: danni reputazionali dovuti alla condivisione con i clienti di informazioni errate, errori nella gestione dei processi, costi di compliance e inefficienze Questa perdita generalmente deriva da: “Spreco” di risorse per la pulizia e la correzione dei dati Analisi inaccurate che portano a decisioni errate Opportunità mancate a causa di insights inaffidabili Maggiore consapevolezza dei rischi nelle aziende “AI-ready” (41%)
  • 8.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE A che punto sono le medio-grandi aziende italiane nella gestione della qualità dei dati e quali azioni stanno implementando?
  • 9.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Un modello di sintesi Processi e tecnologie Competenze e organizzazione Strategia
  • 10.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Circa un’azienda su due ha definito un programma di Data Management 47% 5% 18% 13% 17% Sì, ben avviato ed efficace Sì, avviato in modo efficace in alcune funzioni aziendali Sì, ma non è particolarmente efficace E’ in fase di implementazione No, ma lo vogliamo introdurre a breve No, non ne avvertiamo l’esigenza Solo il 18% dichiara un aumento sostanziale del budget 2024 rispetto al 2023 Processi e tecnologie Competenze e organizzazione Strategia
  • 11.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Il 43% ha figure che, anche informalmente, presidiano il tema Data Quality Il 19% ha incrementato il numero di figure dedicate negli ultimi 3 anni. La percentuale raggiuge il 37% nelle aziende AI-ready 43% 60% 41% 21% E' presente un Data Quality Manager Totale AI-ready Business Intelligence focus Immature Competenze e organizzazione Strategia Processi e tecnologie
  • 12.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Nel complesso, circa il 30% ha strutturato e reso pervasivi processi e tecnologie di Data Quality 29% 30% 37% 19% 23% 20% 52% 47% 43% Progetti di miglioramento della qualità dei dati Controlli automatizzati di Data Quality Chiare regole di Data Quality Strategia Processi e tecnologie Competenze e organizzazione 28% 29% 32% 24% 8% 21% 48% 63% 47% Tecnologie per la gestione dei metadati Funzionalità di Augmented Data Quality Tecnologie dedicate alla Data Quality Presenti e diffusi in azienda Utilizzati saltuariamente/difficoltà di manutenzione Non presenti
  • 13.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Un percorso avviato… Ma la velocità è sufficiente? Circa un’azienda su due ha al proprio interno almeno una figura di riferimento sulla qualità dei dati Solo il 30% delle organizzazioni porta avanti continuativamente progetti di miglioramento della qualità dei dati e ha almeno una tecnologia dedicata Circa un’azienda su due ha definito un programma di Data Management Processi e tecnologie Competenze e organizzazione Strategia Le aziende AI-ready sono più mature su tutte le dimensioni!
  • 14.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE MEDIE IMPRESE Data Quality: le differenze dimensionali Aziende che possono essere definite “AI-ready” Aziende che hanno avviato un programma di Data Management Aziende con un programma di Data Management in fase di implementazione 15% 38% 32% 32% 60% 11% GRANDI IMPRESE
  • 15.
    04.06.2024 Osservatorio Big Data& Business Analytics COPYRIGHT © POLITECNICO DI MILANO / DIPARTIMENTO DI INGEGNERIA GESTIONALE Messaggi chiave ▪ Il percorso di valutazione della data quality non è lineare. Maggiore è l’utilizzo dei dati maggiore è la consapevolezza delle problematiche ▪ Per trasformare l’hype sull’AI/GenAI in benefici concreti, l’unica strada è lavorare su integrazione e qualità dei dati ▪ Siamo all’inizio del percorso: le normative hanno favorito la definizione di un programma di Data Management nelle organizzazioni, ma processi e tecnologie in campo non sono sufficienti per affrontare le nuove sfide dell’AI ▪ Le aziende più avanzate sulle attività di analisi si sono mosse per mitigare le problematiche di data quality con tecnologie e competenze dedicate. Non c’è una riduzione del gap!
  • 16.
    Data Quality &AI: impatto e livelli di preparazione nelle aziende Osservatorio Big Data & Business Analytics 04.06.2024 16 Progetto di ricerca svolto in collaborazione con Irion Irene Di Deo Ricercatrice Senior irene.dideo@polimi.it Grazie dell’attenzione!