SlideShare a Scribd company logo
Analytics for management
Big data:
segnali dal
futuro
marco domizio | 11/11/2017
1
marco domizio
Marco Domizio
Digital Transformation Consultant
Affianco imprenditori a realizzare progetti
digitali per aumentare clienti e vendite
m.domizio@tiscali.it
+39 335 1223483
Un obiettivo,
senza un
piano, rimane
solo un
desiderio.
“
2
marco domizio
L’era della rivoluzione digitale sta cambiando le
modalità con cui le aziende creano prodotti e servizi,
adattano la propria organizzazione e sviluppano le
relazioni con i clienti.
I Big Data aprono le porte verso nuovi modi di percepire
il mondo e di prendere decisioni. Essi sono ovunque, e
ogni giorno sempre più applicazioni vengono create per
trarne valore e arricchire la vita personale e
professionale degli utenti.
I Big Data sono il nuovo strumento che rende
"misurabile" la società. Ci indirizzano verso una nuova
scienza dei dati in grado di misurare e, in prospettiva,
prevedere crisi economiche, epidemie e pandemie, di
usione di opinioni, distribuzione delle risorse
economiche o energetiche, bisogni di mobilità.
Scopriamo come creare valore per la nostra
organizzazione.
Big data
INTRODUZIONE
Di cosa parliamo? | Executive summary
LE SFIDE
Per capire dove ci si trova, è necessaria una
mappa
CREARE VALORE
Se una cosa non può essere misurata, non può
essere migliorata
01
02
PIANO
EVERYWHERE
Tutto questo è imbarazzante
03
ANALYTICS
Analizza i fatti, parla con i dati
04
TOOLS
Uno sguardo agli strumenti di lavoro
05
309:07
01 BIG DATA: LE SFIDE
Per capire dove ci si trova, è necessaria una
mappa
marco domizio
Trasformare i dati grezzi in saggezza guidata
Nell'era dei Big Data, la sfida è trovare metodi
automatizzati e industriali per realizzare questa
trasformazione.
GESTIONE DEI DATI
CONSAPEVOLEZZA
MISSION
01 - BIG DATA: LE SFIDE 5
marco domizio
Obiettivi
01 - BIG DATA: LE SFIDE
“C’è una sola definizione valida dello scopo
del business: creare un cliente.
Sarà quest’ultimo che determinerà ciò che
deve essere il business.
Non è fondamentale quello che un’impresa
pensa di produrre … bensì quello che il
cliente pensa di comprare e che valore
attribuisce a quell’acquisto”
Peter Drucker, The Practice of Management
6
marco domizio
 How many data in the world?
 800 Terabytes,2000
 160 Exabytes, 2006 (1EB = 1018B)
 4.5 Zettabytes, 2013 (1ZB = 1021B)
 44 Zettabytes by 2020
 How much is a zettabyte?
 1,000,000,000,000,000,000,000 bytes
 A stack of 1TB hard disks that is 25,400
km high
 How many data in a day?
 2.5 Exabytes
 8TB,Twitter
 50 TB,Facebook
 90% of world's data:
 generated over last two years!
ALCUNI NUMERI
CONSAPEVOLEZZA
01 - BIG DATA: LE SFIDE 7
marco domizio
I numeri
01 - BIG DATA: LE SFIDE 8
marco domizio
I numeri
01 - BIG DATA: LE SFIDE 9
marco domizio
I numeri
01 - BIG DATA: LE SFIDE 10
marco domizio
Ecosistema digitale
01 - BIG DATA: LE SFIDE 11
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 12
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 13
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 14
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 15
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 16
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 17
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 18
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 19
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 20
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 21
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 22
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 23
marco domizio
Le tecnologie distruttive
01 - BIG DATA: LE SFIDE 24
marco domizio
Competenze specialistiche
01 - BIG DATA: LE SFIDE 25
marco domizio
Competenze specialistiche
01 - BIG DATA: LE SFIDE 26
marco domizio
BA, BI, Big data, data mining…
01 - BIG DATA: LE SFIDE
• Business Analytics – Strumenti per esplorare i dati passati per
ottenere informazioni sulle future decisioni aziendali.
• BI – Strumenti e tecniche per trasformare i dati in informazioni
significative.
• Big Data – set di dati così grandi o complessi che le applicazioni
tradizionali di elaborazione dati sono inadeguate.
• Data Mining - Strumenti per scoprire modelli in grandi set di dati.
27
marco domizio
Obiettivi data analytics
01 - BIG DATA: LE SFIDE
Past
Future
28
marco domizio
Obiettivi data analytics
01 - BIG DATA: LE SFIDE
Descriptive
analytics
Predictive
analytics
Prescriptive
analytics
Cosa sta succedendo? Tecniche analitiche e statistiche per
l’estrazione di quantità che descrivano l’insieme di dati nel loro
complesso: media, varianza, ecc… (Anche chiamato passive BI).
Cosa succederà? Tecniche analitiche, modelli matematici ed
algoritmi per l’analisi del dato storico e la predizione o di eventi
sconosciuti o di andamenti futuri dei fenomeni sotto studio.
(Active BI)
Cosa posso fare? Tecniche analitiche, modelli matematici ed
algoritmi per l’analisi delle decisioni alternative e la selezione di
quelle che massimizzano l’efficacia rispetto agli obiettivi
individuati. (Active BI).
29
marco domizio
Evoluzione
01 - BIG DATA: LE SFIDE 30
marco domizio
Il futuro
01 - BIG DATA: LE SFIDE 31
marco domizio
• Economia incerta
• Ambienti in rapida evoluzione
• Concorrenza globale
• Digital transformation
• Clienti esigenti
Sfruttare le informazioni acquisite dalle aziende è
un fattore critico di successo.
Supporto alle decisioni
Modello
01 - BIG DATA: LE SFIDE 32
marco domizio
Big data
01 - BIG DATA: LE SFIDE
“Big data exceeds the reach of commonly used hardware
environments and software tools to capture, manage, and process it
with in a tolerable elapsed time for its user population.”
“Big data refers to data sets whose size is beyond the ability of typical
database software tools to capture, store, manage and analyze.”
“Big data is a collection of data sets so large and complex that it
becomes difficult to process using on-hand database
management tools.”
33
marco domizio
Big data
01 - BIG DATA: LE SFIDE 34
marco domizio
Valore=utilità dei dati per un'organizzazione.
La caratteristica di valore è intuitivamente legata alla
caratteristica di veridicità, in quanto maggiore e la
fedeltà dei dati, e più valore essi hanno per il
business. Il valore dipende anche da quanto tempo
impiega l'elaborazione dei dati affinchè risultati
analitici abbiano una shelf-life. Piu tempo impiegano i
dati per essere trasformati in informazioni
significative, meno valore hanno per il business.
Risultati stantii inibiscono la qualità e la velocità del
processo decisionale.
Valore
01 - BIG DATA: LE SFIDE 35
marco domizio
Quindi?
01 - BIG DATA: LE SFIDE 3610:07
02 BIG DATA
ANALYTICS: CREARE
VALORESe una cosa non può essere misurata, non può
essere migliorata
marco domizio
• market level
• brand/product level
• customer level
LIVELLI
Modello
02 - CREARE VALORE
Market
Brand/
products
Customer
3811:07
marco domizio
• Tangibili (transazioni,
registrazioni…)
• Intangibili (brand
reputation, recensioni…)
ASSET
Modello
02 - CREARE VALORE 39
marco domizio
• Persone esperte
• Sistemi: ecosistema
integrato
• Processi: immissione,
accessibilità e gestione
• Organizzazione
FUNZIONALITA’
Modello
02 - CREARE VALORE
VALUE
GENERATION
people
process
system
organization
40
marco domizio
• Analisi focalizzata sulle
intuizioni per ottenere
successo
• Analisi che mira a
sviluppare modelli per
migliorare il processo
decisionale.
APPROCCIO
Modello
02 - CREARE VALORE 41
marco domizio
La presenza di big data offre enormi
opportunità.
1. avviare un analisi e iniziare a
scavare nei dati disponibili. (Tesco
analizzando i dati della loro carta
fedeltà, hanno scoperto che i
consumatori acquisto di pannolini
spesso acquistano anche birra e
patatine)
2. approccio problematico, anziché un
approccio esplorativo.
STRATEGIA
Modello
02 - CREARE VALORE 42
marco domizio
• V2C value to client
• V2F value to firm
PROSPETTIVE
Modello
02 - CREARE VALORE 43
marco domizio
Le metriche sono sistemi che
quantificano le tendenze, le
dinamiche, o caratteristiche
METRICHE
02 - CREARE VALORE 44
marco domizio
V2C: METRICHE DI
MERCATO
02 - CREARE VALORE
Obiettivi:
product awareness & values
Metriche:
• Relative advantage: è il grado in cui un'idea o un
prodotto viene percepito come meglio dello
standard esistente
• Complexity: quanto sia facile per la gente capire la
nuova idea o utilizzare il nuovo prodotto
• Compatibility: Quanto facilmente posso utilizzare
la mia esperienza passata per capire come
funziona questo nuovo prodotto
• Observability: i risultati evidenti provando un
prodotto
• Trialability: E’ facile interagire con i nuovi concetti
o sperimentare il prodotto?
45
marco domizio
V2C:METRICHE DI BRAND
02 - CREARE VALORE
Obiettivo:
Brand awareness
Metriche:
• Differentiation: Distinguere la percezione del marchio.
Definisce il marchio e riflette la sua capacità di distinguersi
dalla concorrenza. È il "motore del marchio: ... se il motore si
ferma, così sarà il treno“.
• Relevance: rilevanza personale e l'adeguatezza e
l'importanza percepita del marchio.
• Esteem: Il livello di rispetto dei consumatori per il marchio e
la valenza dell'atteggiamento dei consumatori. Riflette in che
misura il brand mantiene le sue promesse.
• Knowledge: Consapevolezza e comprensione dell'identità
del marchio. Cattura l'intimità dei consumatori con il marchio.
Risultati delle comunicazioni (marketing) e delle esperienze
personali con il marchio.
• Energy: La capacità del marchio di soddisfare le esigenze dei
consumatori in futuro e di adattarsi e rispondere ai gusti e alle
esigenze mutevoli. Indica orientamento futuro e capacità del
marchio.
Brand-Asset Valuator®: Young & Rubicam
46
marco domizio
V2C:USER GENERATED
CONTENT
02 - CREARE VALORE
• Digital brand association
networks
• Summarized digital brand
metrics
• Social media brand metrics.
47
marco domizio
V2C:METRICHE CUSTOMER
02 - CREARE VALORE
Customer feedback metrics
• Net promoter score (NPS): per valutare la fedeltà
in una relazione impresa-cliente. È un'alternativa
alla tradizionale ricerca di soddisfazione del cliente
ed è correlata con la crescita dei ricavi
• Customer satisfaction
• Customer effort score
• Source:
• Fonte di dati interni (transazioni, reclami,
tempo di ripristino servizio, ..)
• Fonti online: recensioni
48
marco domizio
V2C:TUTTE?
02 - CREARE VALORE
Concentrarsi su un numero
limitato di metriche e
includerli in una dashboard di
marketing.
I manager dovrebbero quindi
cercare di influenzare queste
metriche con le strategie di
marketing
49
marco domizio
V2F:BRAND METRICS
02 - CREARE VALORE
Metriche di performance di mercato del
marchio
• penetrazione del marchio,
• le vendite del marchio
• la quota di mercato
• fedeltà alla marca
• BRAND EQUITY : la performance
finanziaria del marchio, il ruolo del
marchio nelle decisioni di acquisto, e la
forza del marchio, che è la capacità del
marchio di creare fedeltà alla marca.
50
marco domizio
V2F:MARKET METRICS
02 - CREARE VALORE
• dimensioni del mercato
• numero di concorrenti
• concentrazione del mercato
(difficile, a causa della
frammentazione del
mercato es. Supermercati
che vendono abbonamenti
telefonici….))
51
marco domizio
V2F:CUSTOMER METRICS
02 - CREARE VALORE
metriche di acquisizione dei clienti, che si
concentrano sulla prima fase di attirare i clienti
• Tasso di risposta: il numero di clienti che ha risposto
ad una campagna diviso per il numero di clienti totali
avvicinato con una campagna
• Tasso di conversione: il numero di clienti acquisiti
diviso per il numero di clienti che ha risposto a una
campagna.
metriche di sviluppo dei clienti, che si concentrano su
come il rapporto si sviluppa dopo l'acquisizione dei
clienti
• continuazione del rapporto
• tasso di abbandono (Churn)
• defezione: la percentuale di clienti che abbandonano
il rapporto con la ditta
• fidelizzazione dei clienti: la percentuale di clienti
proseguire il rapporto con la ditta (1 - il tasso di
abbandono dei clienti / defezione)
52
marco domizio
V2F:CUSTOMER METRICS
02 - CREARE VALORE
• Customer Lifetime Value (CLV)
• Frequenza di acquisto: il numero di volte in cui un
cliente acquista da una società in un determinato
periodo di tempo
• Recency: Tempo dall'ultimo acquisto
Metriche di espansione del rapporto
• Numero medio di prodotti / servizi venduti per
cliente
• Cross-selling: La percentuale di clienti che
acquistano prodotti o servizi aggiuntivi da una
società
• up-selling: La percentuale di clienti di aggiornare i
loro prodotti o servizi a un livello superiore (ad
esempio contratto di servizio aggiornato)
• adozione: la percentuale di clienti che acquistano il
prodotto o il servizio di recente introduzione
• …
53
marco domizio
V2F:CUSTOMER METRICS
02 - CREARE VALORE
Customer Lifetime Value (CLV)
il valore attuale dei futuri flussi di
cassa attribuiti al cliente durante il
suo intero rapporto con la società
1. Margine
2. Durata prevista
3. Investimenti (contributi,
Gadgets, Campagne di
marketing, Channel
costs… )
54
marco domizio
Nuove metriche
02 - CREARE VALORE
Customer engagement
I clienti aggiungono valore non solo
con il loro comportamento di
acquisto, ma possono anche
aggiungere valore scambiando le
loro esperienze online, influenzando
altri clienti e fornendo un contributo
attraverso la co-creazione. Questo
comportamento non transazionale
viene spesso indicato come “il
comportamento di coinvolgimento
del cliente”
Social network analysis:
•number of referrals per customer
•number of relationships of a
customer with other customers
•number of ideas (e.g. new
products, service improvements) of
customers provided to a firm
•influential power of customers
55
marco domizio
Nuove metriche
02 - CREARE VALORE
Omnichannel:seamless
experience
I clienti, sono sempre più “connessi” e
le loro aspettative e la “customer
experience” sono in continua
evoluzione. Oggi non è più sufficiente
gestire più canali di contatto in parallelo
(multicanalità), ma è necessaria una
loro progettazione e gestione integrata
per garantire una piena consistenza tra
di essi.
56
marco domizio
Nuove metriche
02 - CREARE VALORE
Digital Customer journey
• Number of website visits
• Click through rates
• Purchase conversion rate
• Average order size
• Costs of each unique touchpoint
• Channel switching
• Research shopping percentage
57
marco domizio
Omnichannel
02 - CREARE VALORE
VANTAGGI • avere segmenti di domanda diversi per fruizione ed occasioni di consumo; •
massimizzare i benefici e minimizzare gli svantaggi dell’utilizzo di ciascun canale; •
massimizzare la possibilità di raccogliere e analizzare i dati relativi ai clienti, attraverso fonti
diverse; • sfruttare le economie di scala connesse alla standardizzazione in una molteplicità
di canali dei processi operativi
RISCHI • problemi interni quali conflitti tra canali che si rivolgono agli stessi clienti, rischi di
cannibalizzazione delle vendite tra canali, rischi di sottoutilizzazione delle risorse, rischi legati
alla disomogeneità del prezzo dei prodotti collocati in canali differenti, all’asincronia della
comunicazione di brand, ecc.; • problemi esterni quali la decisione di aprire un sito internet
come canale di vendita diretto da parte del produttore, il trasferimento di responsabilità di
alcune fasi della catena del valore.
58
marco domizio
Omnichannel
02 - CREARE VALORE 59
marco domizio
Omnichannel
02 - CREARE VALORE 6012:04
03 BIG DATA,
EVERYWHERE
Tutto questo è imbarazzante
marco domizio
I dati sono ovunque
03 - BIG DATA, EVERYWHERE
Tipi di dati
• Strutturati
• Non strutturati
Fonte dei dati
• Interna
• esterna
62
marco domizio
Tipi di dati
03 - BIG DATA, EVERYWHERE
strutturati: sono conformi a uno schema o modello dei dati e vengono spesso archiviati in forma tabellare. Essi sono
utilizzati per acquisire le relazioni tra entità diverse e, pertanto, sono più spesso archiviati in un database relazionale e
vengono generati da applicazioni aziendali, come sistemi ERP e CRM.
non strutturati: I dati che non sono conformi a un modello o schema di dati sono noti come dati non strutturati. Si stima che
i dati non strutturati costituiscono l'80% dei dati all'interno di qualsiasi organizzazione. I dati non strutturati non
possono essere direttamente elaborati o eseguiti tramite una query, utilizzando SQL. (testo, audio, video ed immagini)
semi-strutturati: I dati semi-strutturati hanno un livello definito di struttura e consistenza, ma non sono relazionali nella loro
natura. Anzi, i dati semi-strutturati sono gerarchici o basati sui grafi. Questo tipo di dati è comunemente archiviato nei
file che contengono testo. A causa della natura testuale di questi dati, e della loro conformità a qualche livello di
struttura, sono più facilmente elaborati rispetto ai dati non strutturati. (XML, Json, Sensori...)
metadati: forniscono informazioni sulle caratteristiche e sulla struttura di un dataset. Questo tipo di dati è, in gran parte,
generato dalla macchina e può essere visto come un livello aggiunto ai dati "grezzi". Il tracciamento dei metadati è
cruciale per l'elaborazione, l'archiviazione e l'analisi dei Big Data perché fornisce informazioni circa il "pedigree" dei
dati e la loro provenienza durante l'elaborazione. Le soluzioni Big Data si basano sui metadati, particolarmente per
l'elaborazione di dati semi-strutturati e non strutturati
63
marco domizio
ZIP-Code
03 - BIG DATA, EVERYWHERE
Nielsen-Claritas information ZIP-code
64
marco domizio
5W + 1H
03 - BIG DATA, EVERYWHERE
I keep six honest serving-men They
taught me all I knew; Their names are
What and Why and When And How and
Where and Who (Ruyard Kipling)
Queste domande “W” sono spesso risolte
solo da un unico punto di vista / origine dati.
Questo può causare problemi perché le
risposte alle diverse s “W” potrebbero non
essere coerenti, o possono addirittura essere
contraddittorie.
Difficoltà tecnico, statistiche e legali
65
marco domizio
Caratteristiche
03 - BIG DATA, EVERYWHERE 66
marco domizio
Integrazione dati
03 - BIG DATA, EVERYWHERE 67
marco domizio
Integrazione dati
03 - BIG DATA, EVERYWHERE
Extract
•selezione delle sorgenti di
dati pertinenti
•Convalida
•Metodo (manuale o
automatico)
•Frequenza
Transformation
•Selezione di alcuni dati
attributi
•Sostituzione di valori dei dati
(ad esempio “M” invece di
“maschio”),
•tradurre i valori da caratteri
in numerico (ad esempio “1”
invece di “cliente attiva”),
•calcolare i valori (entrate IVA
esclusa = ricavi diviso per
1,22),
•l'estrazione e la suddivisione
variabili in variabili differenti
(ad esempio, tirando fuori il
numero civico e il nome della
strada del campo di indirizzo
e di metterlo in due nuove
variabili).
Load
•Staging/backup
•Sovrascittura/aggiunta
68
marco domizio
Varietà dei dati
03 - BIG DATA, EVERYWHERE
• dati dichiarati (descrittori dei clienti)
• dati aggiunti (dati delle transazioni e di
fatturazione, i dati di contatto, i dati di
contatto di marketing, le caratteristiche, il
comportamento dei consumatori, i dati
delle prestazioni del marchio) …
• Dati impliciti (segmentazione, modelli di
scoring, share of wallet, frequenza di
recency valore monetario (RFM)
classificazione, ecc).
69
marco domizio
Le sfide dell’Integrazione dati
03 - BIG DATA, EVERYWHERE 70
marco domizio
Le sfide dell’Integrazione dati
03 - BIG DATA, EVERYWHERE
Tecnica
•Integrazione a livello individuale
(es. ID univoco nelle diverse
base di dati)
•Integrazione a livello intermedio
(es. segmentazione in base alle
dimensioni che possono essere
identificati in tutte le sorgenti da
integrare –età, reddito…)
•Integrazione a livello tempo (es.
dati verranno aggregati al
periodo di tempo che può essere
identificato nelle fonti di dati)
Analitica
•Sincornizzazione di dimensioni e
segmenti nelle diverse basi di
dati (es ga e i visitatori al mio
sito:i canali (fb, google..) sono le
dimensioni a cui applico delle
metriche mentre i segmenti
sono le fasce di età..)
•KPI and P&L
71
marco domizio
Privacy & Security
BIG DATA, EVERYWHERE
03 - BIG DATA, EVERYWHERE
Big data, minaccia per la privacy
• Big Data sono disponibili in modo permanente
• Big Data coinvolgono grandi volumi di dati.
• Big data vengono raccolti invisibilmente.
• Non esiste una buona valutazione della sensibilità
della privacy dei dati a causa del grande volume di
dati
• Non sono accessibili e comprensibile dai clienti.
• I dati provenienti da più fonti vengono fusi.
• I clienti percepiscono una mancanza di controllo sulla
grande raccolta di dati.
72
marco domizio
Privacy & Security
03 - BIG DATA, EVERYWHERE
Preoccupazioni
• La raccolta dei dati: “Troppi dati e informazioni vengono raccolti”
• Utilizzo dati: “I dati vengono utilizzati per altri scopi che servire il
consumatore”
• errori dati: “Gli errori di dati possono avere conseguenze negative”
• la violazione dei dati: “Accesso non autorizzato e l'utilizzo dei dati”
• Controllo dei dati: “un sufficiente controllo sui propri dati”
• coscienza dei dati: “Non è sufficientemente informato sulle politiche
di dati.”
73
marco domizio
Privacy & Security
03 - BIG DATA, EVERYWHERE
Legislazione europea
• Right to be forgotten: Customers have the right that their information
can be deleted if they require it
• Right of portability: Customers have the right to view their collected
personal information
• Informed consent: Privacy is default for customers. Data are only
collected if a customer opts for that (opt-in)
• Clear notice: There is an official save time of contact information
• Privacy by design: Protection of privacy should be part of the whole
design or engineering process of new product and service innovations.
74
marco domizio
La Normativa della General Data Protection o GDPR (EU) 2016/679
è la nuova normativa che ha l’intento di:
Rafforzare e unificare le regole di data protection di tutti i cittadini europei
Gli obiettivi principali sono:
✓ Fornire ai cittadini il controllo completo dei loro dati personali
✓ Semplificare le normative relative alle attività commerciali in ambito internazionale
✓ Regolare il traffico dei dati personali effettuato al di fuori della comunità europea
Panoramica
03 - BIG DATA, EVERYWHERE 75
marco domizio
Cosa significa «Accountability»?
Art. 5.2 del Regolamento
Accountability significa che, in forza del Regolamento, il titolare del trattamento deve mettere
in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di
dimostrare, che il trattamento è stato effettuato conformemente al Regolamento.
Aiutano a dimostrare la conformità del trattamento al Regolamento:
Accountability
1. la tenuta di un registro del trattamento
2. l’adesione a codici di condotta
3. un meccanismo di certificazione.
Privacy & Security
03 - BIG DATA, EVERYWHERE 76
marco domizio
Il principio di «privacy by design» - o di «protezione
dei dati personali fin dalla progettazione» - prevede
che ogni titolare o responsabile del trattamento
debba tenere in considerazione, sin dalla ideazione e
progettazione delle attività di trattamento che
intende porre in essere, la protezione della
riservatezza dei dati personali degli interessati cui il
trattamento si riferisce.
Effettuare il trattamento nel rispetto della norma,
minimizzando i rischi e rispettando la tutela degli
interessati.
Il principio di «privacy by default» - o di «protezione
dei dati personali «per impostazione predefinita» -
prevede che ogni titolare o responsabile effettui il
trattamento dei soli dati personali degli interessati
nella misura e per il tempo necessari a raggiungere le
specifiche finalità del trattamento, implementando,
all’interno degli ambienti, dei sistemi informatici e
delle infrastrutture di rete utilizzate per tale
trattamento, le misure tecniche idonee a proteggere
i dati personali degli interessati.
Trattare solo dati necessari per raggiungimento
delle finalità del trattamento.
La tutela della riservatezza «by design» e «by default»
Privacy & Security
03 - BIG DATA, EVERYWHERE 77
La normativa GDPR riguarda ogni persona
informazione ed ogni dato relativo agli individui
Le informazioni reltive alla privacy
devono essere: Chiare, Facili
comprendere, Facili da trovare
da chiunque (bambini inclusi)
DAL 28 Maggio 2018
La precedente normativa NON sarà più valida
In tutta Europa ed Inghilterra
• IL GDPR prevede che i Processi e le
Verifiche da effettuare devono essere
valutate in base ai reali rischi intrinseci
L’IT è lo strumento strategico per:
Verificare la conformità dei flussi dati
coinvolti
Verificare la correttezza ed integrità delle
delle informazioni gestite
Le multe per le violazioni sono estremamente
onerose
Fino a 20 milioni di Euro
Per le aziende il 4% del fatturato globale
Normativa
03 - BIG DATA, EVERYWHERE
marco domizio
▪ Se tu sei il GESTORE dei dati, il GDPR definisce specifici obblighi giuridici a cui ci sideve
attenere.
Ad esempio, si è obbligati a custodire i riferimenti di ogni processo e/o attività che riguardino i dati
personali delle persone
▪ Qualora si verificasse una violazione sull’uso o gestione dei dati, il GESTORE sarà considerato
legalmente responsabile dell’accaduto.
Questi obblighi sono nuovi e non erano previsti prima dell’introduzione del GDPR
▪ Se tu sei un REVISORE, non si è esentati dagli obblighi previsti per chi gestisce i dati!
La normativa GDPR, definisce specifiche norme e responsabilità per le attività che si svolgono
con chi gestisce i dati
GDPR si applica a TUTTE le organizzazioni che gestiscono dati relativi i cittadini
dell’Unione Europea
Normativa
03 - BIG DATA, EVERYWHERE
marco domizio
➢ La definizione dei dati personali prevista dal GDPR è più ampia rispetto alle
precedenti normative sulla protezione dati e chiarisce che informazioni relative alla
presenza online.
Un esempio? l’indirizzo IP, è ora considerato come un Dato Personale.
➢ La normativa ha recepito il cambiamenti tecnologici e per questo motivo si è
adeguata sfruttando le nuove opportunità offerte dalle nuove tecnologie e
comportamenti delle persone
➢ GDPR si applica ai dati gestiti in forma automatizzata, ma anche in quelli gestiti
manualmente quando questi fossero accessibili e palesementeidentificabili
Dati Personali Dati Personali Sensibili
Privacy & Security
03 - BIG DATA, EVERYWHERE 80
marco domizio
GDPR identifica i dati personali sensibili come: CATEGORIE SPECIALI DI DATI PERSONALI
Le categorie dei dati che rientrano in questa categoria sono principalmente gli stessi che erano
inseriti nella precedente normativa come:
▪ Etnia o razza della persona
▪ Opinioni politiche
▪ Religione
▪ Membro di sindacato od associazioni
▪ Condizioni fisiche o mentali
▪ Orientamento sessuale
DATI IL CUI TRATTAMENTO
È VIETATO
Il GDPR comunque prevede 10 eccezioni che includono il consenso esplicito per aspetti vitali dell’individuo(art.9)
Dati Personali Dati Personali Sensibili
Privacy & Security
03 - BIG DATA, EVERYWHERE 81
marco domizio
Il GDPR richiede che i dati personali siano:
▪ Gestiti secondo la leggevigente
▪ Raccolti e gestiti per fini chiari leciti especifici
▪ Adeguati, pertinenti e limitati esclusivamente allo scopo che si vuole perseguire
▪ Tenuti aggiornati, qualora il fine preposto lo richieda
▪ Gestiti per ottenere dati identificabili esclusivamente e strettamente per il solo scopo previsto
▪ Utilizzati in modo tale da garantire la protezione dei dati singoli personali:
Questo include anche la protezione verso utilizzi non autorizzati, illegali, smarrimenti edistruzioni
Il Revisore sarà responsabile di quanto sopra elencato ed inoltre:
DOVRÀ ESSERE SEMPRE IN GRADO DI DIMOSTRARE L’OSSERVANZA DI
QUANTO PREVISTO DALLA LEGGE
Accountability
03 - BIG DATA, EVERYWHERE 82
marco domizio
Il DPPR ha riferimenti chiari al "consenso" e al "consenso esplicito", entrambe le forme di consenso devono
essere state fornite liberamente, specifiche, informate e fornire una indicazione inequivocabile dei desideri
dell'individuo.
➢Il consenso nel GPDR Richiede chiare «azioni di conferma». Il Silenzio Assenso, Caselle precompilate o
mancanza di reazioni da parte della persona NON COSTITUISCE ASSENSO
➢ Il consenso deve essere VERIFICABILE. Questa richiesta prevede che con il consenso si debba
raccogliere e conservare quando e come il consenso sia stato fornito
➢ Le persone hanno il diritto di poter revocare il consenso in qualsiasi momento
➢Ci sono comunque soluzioni legalmente valide che permettono quali: quando l’elaborazione è
necessaria ai fini degli interessi legittimi dell’azienda o quando si trattano dati (legittimi) per conto di
terze parti.
La mancanza di dei consensi descritti impedisce le elaborazioni dei dati. In questo
caso sarà necessario valutare opportunità alternative che possono essere disponibili
nella legislazione vigente.
Consenso
03 - BIG DATA, EVERYWHERE 83
marco domizio
Il GDPR crea nuovi diritti per le persone
e ne rafforza alcuni che erano già presenti nella vigente normativa.
Il GDPR stabilisce I seguenti diritti per ciascunindividuo:
➢ Il diritto di essere informati (trasparenza su come i dati personali vengono ad essere utilizzati)
➢ Il diritto all’ Accesso (accesso ai propri dati, a come sono utilizzati e qualunque altro dato utilizzato in combinazione con i
propri)
➢ Il diritto di rettifica (diritto a rettificare i dati in caso siano incompleti o incorretti)
➢ Il diritto di alla cancellazione (diritto a che i dati siano cancellati quandonnon sussiste alcuna ragione valida per
conservarli)
➢ Il diritto a Limitare il trattamento dei dati (si può consentire che i dati siano archiviati, ma non processati)
➢ Il diritto alla portabilità dei dati (Poter trasferire i propri dati da un sistema informatico all’altro senza cheil
controllore lo possa impedire)
➢ Il diritto di opporsi(opporsi al trattamento dei propri dati)
➢ Diritto di Contestazione delle decisioni automatizzate (possono essere contestate le decisioni chehanno
impatto personale e che sono state prese usando esclusivamente algoritmi informatici)
Nuovi diritti
03 - BIG DATA, EVERYWHERE 84
marco domizio
1 – Consapevolezza
Comunicare le regole della normativa
GDPR nell’organizzazione
7 – Consenso
Rivedere ed aggiornarela
metodologia percercare,
otteneree gestire il consenso
concedere
3 – Comunicazione
Rivedere le attuali regole di privacy,
identificarele aree da adeguare per essere
in regola
2 – Informazione
Comprenderequali dati personali sono
gestiti,dove sono e con chi li condividi
8 – Bambini
Adottareprocessi e regole per verificare
l’età delle persone ed ottenere il
consensoin caso di dati relativi a minori
5 – Gestione degli accessi
verificare ed aggiornare le procedure che
governano le richiestedi accesso ai dati
9 – Violazioni
Adottare strumenti e procedure per
rilevare,cercare e segnalarepossibili
violazioni ai datigestiti
10 – Security byDesign
Usare PIA’s quando necessario
(PIA = piano impatto sulla protezione dei dati)
12 – International
Identificare l’autorità di vigilanza
competentein caso di una ispezione in
ambito internazionale
11 – Data Protection Officers
Identificaree/o nominareil DPO
(DPO = Data Protection Officer)
6 – Legale
Rivedere la gestione deiprocessi
effettuata nell’organizzazione e
documentarlo su baselegale
4 – Individui
Individuazione dei diritti i diritti delle
persone ed aggiornamento delle procedure
relative alla privacy
12 tips
03 - BIG DATA, EVERYWHERE 85
marco domizio
La normativa prevede che per ottemperare al
nuovoregolamento,le organizzazionidevono
conoscereegestire:
➢ Dove sono gestiti i dati personali
➢ Chi ha accesso ai dati personali
➢ Perché gestiscono dati personali
➢ Con chi condividono i dati personali
➢ Per quanto tempo i dati personalivengono
ad essere tenuti
➢ Il consenso fornito per utilizzarli
Il GDPR è specifico per ogni azienda !!
I controlli devono essere studiati sui possibili e reali
rischi esistenti
La soluzione vincente è l’ utilizzo di policies e
strumenti IT che garantiscano la la riservatezza,
integrità, disponibilità e resilienza dei sistemi adottati
Il GDPR fornisce alle persone nuovi diritti e
poteri per garantire che le proprie
informazioni digitali siano elaborate e
condivise con le regole prescritte dalla legge
vigente
I responsabili ed i gestori delle informazioni digitali saranno considerati responsabili nel caso di violazione dei dati
Riepilogo
03 - BIG DATA, EVERYWHERE 86
marco domizio
D.P.O.
03 - BIG DATA, EVERYWHERE
D.P.O. (Data Protection Officer) RESPONSABILE PROTEZIONE DATI
Tale figura, viene prevista solo in determinati casi:
• Se il trattamento è svolto da una pubblica amministrazione;
• Se i dati trattati richiedono un monitoraggio regolare e sistematico o su larga scala;
• Se vengono trattati dati classificati particolari (relativi alla salute della persona – giudiziari).
Il D.P.O. ha una funzione di consulenza, che supporta il titolare od il responsabile, tiene i contatti con l’autorità
(Garante), può disporre l’attuazione di misure di sicurezza qualora si rendano indispensabili, può essere
interessato anche da tutte le altre figure che operano all’interno dell’azienda, in materia si sicurezza nel
trattamento dei dati.
Per ogni decisione in materia di trattamento, detta figura DEVE ESSERE CONSULTATA da parte del titolare.
Il D.P.O. viene nominato dal titolare del trattamento.
Le linee guida emesse dalla commissione WP29, raccomandano la nomina del D.P.O. anche nei casi in cui tale
figura non sia obbligatoria.
87
marco domizio
D.P.I.A. (Data Protection Impact Assessement)
03 - BIG DATA, EVERYWHERE
Trattasi di un documento finalizzato a realizzare una analisi dei rischi attraverso lo studio e le modalità di
trattamento dei dati. Detto documento deve individuare i rischi correlati e le misure idonee a neutralizzarli e, in
ultima ipotesi a gestirli. La stesso deve contenere:
• Una descrizione sistematica dei trattamenti previsti;
• Le finalità del trattamento;
• L’interesse legittimo perseguito dal titolare del trattamento;
• Una valutazione della necessità e proporzionalità dei trattamenti in relazione alle finalità;
• Una valutazione dei rischi;
• Le misure previste per affrontare i rischi;
• Le garanzie, le misure di sicurezza e i meccanismi per garantire la protezione dei dati personali.
Tale documento risulta obbligatorio quando:
• È presente una valutazione sistematica e globale di aspetti personali relativi a persone fisiche, basata su un
trattamento automatizzato, compresa la profilazione, e sulla quale si fondano decisioni che hanno effetti
giuridici o incidono in modo analogo significativamente su dette persone fisiche;
• Viene effettuato un trattamento, su larga scala, di categorie particolari di dati personali (es.sanitari), o di dati
giudiziari;
• Videosorveglianza.
Il D.P.I.A. deve essere redatto dal titolare del trattamento, unitamente al responsabile, in collaborazione con il
RESPONSABILE DELLA PROTEZIONE DATI (D.P.O.).
88
marco domizio
REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO
03 - BIG DATA, EVERYWHERE
Ogni titolare del trattamento e, ove applicabile, il suo rappresentante tengono un registro delle attività di
trattamento svolte sotto la propria responsabilità.
Tale registro contiene tutte le seguenti informazioni:
• il nome e i dati di contatto del titolare del trattamento e, ove applicabile, del contitolare del trattamento, del
rappresentante del titolare del trattamento e del responsabile della protezione dei dati;
• le finalità del trattamento;
• una descrizione delle categorie di interessati e delle categorie di dati personali;
• le categorie di destinatari a cui i dati personali sono stati o saranno comunicati, compresi i destinatari di paesi
terzi od organizzazioni internazionali;
• i trasferimenti di dati personali verso un paese terzo o un’organizzazione internazionale, compresa
l’identificazione del paese terzo o dell’organizzazione internazionale e, per i trasferimenti di cui al secondo
comma dell’articolo 49, la documentazione delle garanzie adeguate;
• i termini ultimi previsti per la cancellazione delle diverse categorie di dati;
• una descrizione generale delle misure di sicurezza tecniche e organizzative.
Tale registro è obbligatorio nei seguenti casi:
• imprese od organizzazione con almeno 250 dipendenti;
• che il trattamento possa presentare un rischio per i diritti e le libertà dell’interessato;
• che il trattamento non sia occasionale;
• che il trattamento includa categorie di dati particolari (sanitari o giudiziari).
89
marco domizio
REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO
03 - BIG DATA, EVERYWHERE
Ovviamente anche per quanto concerne procedimenti di informativa agli interessati nonché consenso, sono state
previste modiche che rendono obbligatorio riformulare le procedure.
E’ opportuno rappresentare come, per CATEGORIA PARTICOLARE DI DATI PERSONALI, devono intendersi dati
personali che rivelino:
• l’origine razziale o etnica;
• le opinioni politiche;
• le convinzioni religiose o filosofiche;
• l’appartenenza sindacale;
• dati genetici;
• dati biometrici intesi a identificare in modo univoco una persona fisica (es.videosorveglianza – impronte
digitali – iride);
• dati relativi alla salute;
• dati relativi alla vita sessuale;
• dati relativi all’orientamento sessuale.
90
marco domizio
Alcune regole
03 - BIG DATA, EVERYWHERE
• livelli di aggregazione più elevati
• Dati anonimi
• Pseudonimo
• Campione permission-based
91
marco domizio
Security
03 - BIG DATA, EVERYWHERE
• Persone:fallimento umano (perdere
chiavetta usb con dati, mail con allegati a
persona sbagliata…) o comportamenti
scorretti
• Sistemi
• Processi
Regole&controllo
• Accesso: come, quando e chi
• Continuità: backup, disaster recovery…
• Controllo: organizzazione, indicatori e
reporting
LA PRIVACY E LA SICUREZZA NON SONO UN
PROBLEMA DI UFFICIO LEGALE!!
9215:17
04 BIG DATA,
ANALYTICS
Analizza i fatti, parla con i dati
marco domizio
Introduzione
04 - ANALYTICS
Per analytics si intende l'ampio uso di dati,
analisi statistiche e quantitative, modelli
esplicativi e predittivi, e basato sui fatti per
guidare le decisioni e le azioni”
“Qual è l'assortimento ottimale del prodotto
da offrire in un negozio?”
“Quale sarebbe il livello di prezzo ottimale?”
“Attraverso quali canali dovremmo contattare
un cliente, al fine di ottimizzare il valore per il
cliente?”
94
marco domizio
Tipi di analisi
04 - ANALYTICS
Tipi
• Esplicativa: perché
• Predittiva
Esecuzione
• Statica (al tempo t)
• Dinamica (al tempo t1, t2, …tn)
95
marco domizio
Dimensioni
04 - ANALYTICS
Dimensione primaria
• Problema predefinito
• Sfide di marketing
• Obiettivi di crescita
Dimensione secondaria
• Dati predefiniti
• CRM, transazioni..
• Combinazione di dati
96
marco domizio
Problem solving
04 - ANALYTICS
“Come si può aumentare il valore dei nostri
clienti?”
“Quale strategia di prezzo dovrei usare per
attirare i clienti più redditizi?”
97
marco domizio
Data modeling
04 - ANALYTICS
Problema: prevedere il tasso di abbandono
Obiettivo: trovare relazioni specifiche nei dati
Rischio: ad un padre di una adolescente è
stato offerto prodotti per l'infanzia, perché
sua figlia, apparentemente in stato di
gravidanza ha acquistato prodotti per
bambini utilizzando il suo programma di
fidelizzazione
98
marco domizio
Data mining
04 - ANALYTICS
Dati e problema non pre-definiti :analisi
induttiva
i dati ampiamente disponibili possono fornire
informazioni preziose semplicemente
scavando
99
marco domizio
Data mining
04 - ANALYTICS
analisi esplorativa per scoprire nuove
relazioni
Tesco analizzando i dati della loro carta
fedeltà, hanno scoperto che i consumatori
acquisto di pannolini spesso acquistano
anche birra e patatine
100
marco domizio
Impatto dei big data
04 - ANALYTICS 101
marco domizio
Regole
04 - ANALYTICS
Una delle dimensioni dei big data è il volume.
Non è il volume che è importante, ma che il campione analizzato sia rappresentativo.
Il volume è importante solo al fine di ottenere risposte più affidabili. In particolare
se:
•Se vengono studiate più variabili in un'analisi e specificamente quando si studiano gli effetti di variabili
multiple su una variabile di esito
•Se uno ha bisogno di studiare diversi sotto-campioni. Il sotto-campione dovrebbe essere di dimensioni
sufficienti per analizzare
•Se c'è molta eterogeneità. Ad esempio, i clienti possono differire fortemente in come si comportano e
come rispondono alle azioni di marketing
•Se la variabile studiata si verifica molto raramente (ad esempio una conversione su una campagna di
posta elettronica) e un numero sufficiente di punti dati è necessario per comprendere i driver di questo
evento
•Se esiste una forte collinearità tra le variabili indipendenti utilizzate per prevedere o spiegare una
variabile dipendente, ad esempio le vendite o la cedola.
102
marco domizio
Classificazione
04 - ANALYTICS
Area di applicazione (mercato, marca, cliente)
Descrittivi o predittivi;
Metodo statico o dinamico
103
marco domizio
Classificazione
04 - ANALYTICS 104
marco domizio
Classificazione
04 - ANALYTICS 105
marco domizio
Classificazione
04 - ANALYTICS
Questi sette metodi classici hanno in comune il fatto che sono spesso utilizzati
all'interno di funzioni di marketing intelligence. Inoltre, molti di questi metodi hanno
un ruolo in ambienti Big Data. E’ molto importante padroneggiare questi metodi
prima affrontare l’analisi dei Big data
1. Reporting: hanno lo scopo di fornire informazioni di gestione su alcune statistiche descrittive pertinenti a KPI
specifici, come quota di mercato, la soddisfazione del cliente, e / o la redditività dei clienti
2. Profiling: fornire una descrizione di marche e di segmenti di clientela. Ad esempio, confrontare utenti Apple vs
Samsung vs Blackberry su variabili specifiche, quali l'età, l'istruzione, e di genere
3. Migration: La migrazione può essere utilizzato per studiare lo sviluppo dei clienti e la marca o l'utilizzo del prodotto
nel tempo. Questa analisi migrazione è spesso necessaria per comprendere variazioni di dati di vendita aggregati
nel tempo
4. Segmentation (gerarchici, k-means)
5. Trend analysis market and sales forecasting (regressione lineare)
6. Attribute importance (Misura indicata di importanza, Approccio basato sulla regressione, Analisi congiunta)
7. Individual prediction models: analisi RFM (Recency, Frequency, Monetary) , alberi di decisione, modelli logit,
modelli informatici (bootstrap aggregation (“bagging”))
106
marco domizio
Big data & analytics
04 - ANALYTICS
tipi di dati: non strutturati e diversi
nuove sfide: ecosistema digitale
nuove 7 tecniche di analisi
107
marco domizio
Big data Analytics
04 - ANALYTICS 108
marco domizio
Big data Analytics
04 - ANALYTICS 109
marco domizio
Big data Analytics
04 - ANALYTICS 110
marco domizio
Web analytics
04 - ANALYTICS
Obiettivo
Comprendere come il consumatore
visita ed usa siti internet
Metodi
• site-centric: interazione con un sito
specifico convergenza, funnel
• User-centric: registrazione utenti nel
comportamento on line
Tecniche:
• SEO
• Miglioramento sito: test a/b 111
marco domizio
Customer journey analysis
04 - ANALYTICS
L’analisi permette di avere data da molte
sorgenti e, dove possibile, dare un senso a
queste per comprendere meglio il customer
journeys e gli effetti di un touchpoints verso
l’acquisto
Metodi
-Analisi qualitativa
-Analisi quantitativa
-Channels/touchpoints used for search
-Channels/touchpoints used for
purchase
-channels/touchpoints used for after-
sales
112
marco domizio
Attribution modeling
04 - ANALYTICS
L’analisi permette di avere data da I
clienti sono influenzati da diversi
touchpoints: come valutare gli effetti di
un touchpoint?
Modelli
“path to purchase”,
Ultimo click, first click, time-decay
attribution, touchpoint offline
113
marco domizio
Esempio: Campagna Adwords
04 - ANALYTICS
Time decay:assegna maggior valore ai clic eseguiti più a ridosso della conversione. Il credito
viene distribuito utilizzando un lasso di tempo di sette giorni, vale a dire che un clic eseguito otto
giorni prima di una conversione riceverà metà del credito assegnato a un clic eseguito un giorno
prima di una conversione.
Esempio Adwords: Immaginiamo che tu sia il proprietario dell'hotel Paulina di Firenze. Un cliente trova il tuo sito facendo clic sugli annunci AdWords
dopo aver eseguito le seguenti ricerche: "hotel Toscana", "hotel Firenze", "hotel 3 stelle Firenze" e infine "hotel 3 stelle Paulina Firenze". Il cliente
prenota dopo aver fatto clic sull'annuncio attivato dai termini di ricerca "hotel 3 stelle Paulina Firenze".
Con il modello di attribuzione "Ultimo clic", tutto il credito della conversione verrebbe attribuito all'ultima parola chiave ("hotel 3 stelle Paulina
Firenze").
Con il modello di attribuzione "Primo clic", tutto il credito della conversione verrebbe attribuito alla prima parola chiave ("hotel Toscana").
Con il modello di attribuzione "Lineare", il credito della conversione verrebbe distribuito equamente tra tutte le parole chiave (il 25% ciascuna).
Con il modello di attribuzione “Time decay", la maggior parte del credito verrebbe attribuita alla parola chiave "hotel 3 stelle Paulina Firenze" perché è
quella che è stata utilizzata più a ridosso della conversione. La parte minore del credito verrebbe attribuita alla parola chiave "hotel Toscana" perché è
quella utilizzata più lontano nel tempo rispetto alla conversione.
Con il modello di attribuzione "In base alla posizione", il 40% del credito della conversione verrebbe attribuito alle parole chiave "hotel Toscana" e
"hotel 3 stelle Paulina Firenze", mentre il 10% del credito verrebbe attribuito rispettivamente alle parole chiave "hotel Firenze" e "hotel 3 stelle
Firenze".
Con il modello di attribuzione "Basato sui dati", la parte di credito verrebbe attribuita a ciascuna parola chiave in base al numero di conversioni che ha
generato.
114
marco domizio
Dynamic targeting
04 - ANALYTICS
• Recommendation systems
• Content filtering systems
• Collaborative filtering systems
• Hybrid forms of content and
collaborative filtering systems.
• Personalization systems.
La differenza fondamentale tra sistemi di
raccomandazione e sistemi di personalizzazione è
che i sistemi di raccomandazione raccomandano
prodotti o servizi esistenti, mentre i sistemi di
personalizzazione adattano l'offerta alle esigenze dei
clienti.
115
marco domizio
Integrated models
04 - ANALYTICS
Integrazione ad un livello
Integrazione Multi-level
Adaptive forecasting
L’arroganza dei big data: effetto Google
Flu Trends
116
marco domizio
Social Listening
04 - ANALYTICS
• Analisi del testo (dr.watson)
• “opinion mining”: tecniche computazionali
per l'estrazione, la classificazione, la
comprensione e la valutazione delle
opinioni espresse in varie fonti di notizie
online, social/commenti dei media, e altri
contenuti generati dagli utenti (sentiment
analysis)
Errori da evitare:
commento che accompagna un’immagine di
una reazione cutanea rispetto ad una crema
per il corpo che afferma:“Grazie xxx! Davvero
un effetto strepitoso “
oppure un commento ad un ritardo nel volo:
“Il mio volo è in ritardo. Splendido!”
117
marco domizio
Social network analysis
04 - ANALYTICS
Non solo FB, Linkedin (piazze)…ma
community specializzate!
• Creation of network data
• Description of the network using
network metrics
• Social network targeting and
valuation.
teoria dei grafi, influencer
Warning!: privacy
118
marco domizio
Social network analysis
04 - ANALYTICS
Degree centrality:Misura il numero di contatti diretti
che un individuo ha in una rete
Betweenness centrality: E’ legato al numero di volte
in cui un nodo si ritrova lungo lo shortest path tra le
altre coppie di nodi della rete
Closeness centrality: esprime il grado di prossimità di
un utente agli altri della rete
Clienti con un alta betweenness centrality hanno più
potere in una rete
Clienti con bassa Closeness centrality hanno più
facilità di raggiungere altri clienti
ESEMPIO
Influencer e Testimonial
119
marco domizio
Emerging techniques
04 - ANALYTICS
Analisi foto e video (CBIR ( Content-Based Image
RetrievalSystems)
Proximity marketing&cookies
120
marco domizio
Successful big data
04 - ANALYTICS
Investimento in
• Persone:reclutare, sviluppare e mantenere il
giusto talento analitico
• Sistemi:la piattaforma e gli strumenti per un
ecosistema dati integrato
• Processi: creare un modo comune di lavoro basato
sul business e sostenuto dalla privacy e dalla
sicurezza
• Organizzazione:prendere il ruolo giusto e il posto
nell'organizzazione per il maggior impatto.
VALUE
GENERATION
people
process
system
organization
121
marco domizio
Sistemi
04 - ANALYTICS 12216:39
05 Tools, storage &
processing
Uno sguardo agli strumenti di lavoro
marco domizio
Big data landscape
05 - Tools, storage & processing 124
marco domizio
Tools
05 - Tools, storage & processing
NoSQL: è un movimento che promuove sistemi software dove la persistenza dei dati è
caratterizzata dal fatto di non utilizzare il modello relazionale, di solito usato dai database
tradizionali (RDBMS)
◦ DatabasesMongoDB, CouchDB, Cassandra, Redis, BigTable, Hbase, Hypertable, Voldemort,
Riak, ZooKeeper
MapReduce: è un framework software brevettato e introdotto da Google per supportare la
computazione distribuita su grandi quantità di dati in cluster di computer.
◦ Hadoop, Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume,
Kafka, Azkaban, Oozie, Greenplum
Storage
◦ S3, Hadoop Distributed File System
Servers
◦ EC2, Google App Engine, Elastic, Beanstalk, Heroku
Processing
◦ R, Yahoo! Pipes, Mechanical Turk, Solr/Lucene, ElasticSearch,
Datameer, BigSheets, Tinkerpop
125
marco domizio
Risorse e servizi distribuiti
05 - Tools, storage & processing
• Distributed Architecture
• Clusters of computers that work together
to a common goal
• Scale out not up!
• Fault- tolerance
• Resource replication
• Eventual consistency
• Distributed processing
• Shared-nothing model
• New programming paradigms
126
marco domizio
Teorema di CAP
05 - Tools, storage & processing
Per aumentare il livello della prestazione nella gestione e nell'interrogazione dei dati si punta, dunque, ad un
sistema distribuito, il quale si basa sulle proprietà del Teorema CAP, presentato nel 2000 da Eric Brewer
Esso specifica come in un contesto distribuito si possano identificare 3 proprietà fondamentali:
• Consistency (Coerenza): i dati rimangono consistenti alla fine dell'esecuzione di un'operazione, ovvero, una
volta effettuato un update, tutti i client dispongono degli stessi dati.
• Availability (Disponibilità): ogni richiesta riceverà una risposta sia in caso di successo che in caso di fallimento;
in altre parole, il sistema è sempre disponibile.
• Partition Tolerance (Tolleranza al Partizionamento): il sistema continua a funzionare nonostante la presenza di
un meccanismo di comunicazione inaffidabile e di eventuali perdite di messaggi.
Il teorema enuncia l'impossibilità di avere tutte e tre le caratteristiche nello stesso momento; pertanto, se ne
possono implementare al più due a discapito della terza. Di conseguenza, se si sceglie di non avere una tolleranza
al partizionamento si avranno problemi sulla scalabilità verticale, che è sicuramente più costosa. Se si rinuncia alla
disponibilità dobbiamo attendere che vengano risolte alcune richieste a discapito delle prestazioni. Se si rinuncia
alla coerenza si avrà, per un periodo, un disallineamento dei dati sui nodi. A fronte dei risultati offerti dal teorema
CAP, i database di tipo NoSQL, per poter essere scalabili come richiesto, devono sacrificare la consistenza a
scapito le prestazioni e la disponibilità dei dati. La consistenza non è possibile garantirla sempre a priori, ma è
comunque presente in una forma più debole.
127
marco domizio
Big data flow
05 - Tools, storage & processing
ETL
RealTime
Streams
Distributed File System (HDFS)
NoSQL
(HBase,
Cassandra,
MongoDB)
New SQL
(Oracle,
VoltDB,
Teradata)
Real Time
Processing
Analytics
(Spark,
Cloudera,
Greenplum)
Batch
Processing
128
marco domizio
Trend
05 - Tools, storage & processing
ETL
RealTime
Streams
Distributed File System (HDFS)
NoSQL
(HBase,
Cassandra,
MongoDB)
New SQL
(Oracle,
VoltDB,
Teradata)
Real Time
Processing
Analytics
(Spark,
Cloudera,
Greenplum)
Batch
Processing
X
129
marco domizio
Data Lake
05 - Tools, storage & processing 130
marco domizio
Data Lake
05 - Tools, storage & processing
Il termine data lake è apparso per la prima volta a
ottobre 2010 sul blog di James Dixon, CTO di
Pentaho, specializzata in business intelligence
“Se si pensa a un datamart come a un negozio di
acqua in bottiglia – depurata, confezionata e
strutturata per essere consumata con facilità – il data
lake è una grande distesa d'acqua in uno stato più
naturale. Il contenuto del data lake affluisce da
sorgenti di dati e vari utenti del lake possono
esaminarlo, immergervisi o prelevare campioni.
È nella nozione di dati e campioni grezzi che un data
lake diverge da un data warehouse: il primo raccoglie
un volume consistente di dati grezzi – strutturati,
semistrutturati e destrutturati – in formato nativo e
ne permette l'analisi. “
131
marco domizio
Data Lake
05 - Tools, storage & processing
Dove un data warehouse memorizza i dati in file e
cartelle, un data lake fa uso di una architettura piatta.
Ogni elemento riceve un identificatore e un insieme
di metadati a corredo. Il data lake può così essere
interrogato alla ricerca di dati rilevanti, che possono
essere successivamente analizzati a parte alla ricerca
di risultati specifici.
132
marco domizio
Gli strumenti di digital analytics
05 - Tools, storage & processing 133
marco domizio
Raccolta: puoi utilizzare Google Analytics per raccogliere i dati sulle interazioni degli
utenti da siti web, app mobili e ambienti collegati digitalmente, ad esempio
postazioni digitali o sistemi POS. Per i siti web, Google Analytics utilizza il codice
JavaScript per raccogliere informazioni. Un pacchetto di informazioni è definito "hit"
o "interazione". Un "hit" viene inviato ogni volta che un utente visualizza una pagina
con i tag di Google Analytics. Per le app mobili, è necessario aggiungere altro codice
per ogni "attività" da monitorare.
Elaborazione: una volta raccolti gli hit di un utente sui server Google, si passa alla
fase di elaborazione dei dati. In questo passaggio avviene la "trasformazione" dei
dati non elaborati in qualcosa di utile.
Come funziona Google Analytics
05 - Tools, storage & processing 134
marco domizio
Configurazione: in questo passaggio, Google Analytics applica le impostazioni di
configurazione ai dati non elaborati, ad esempio i filtri. In seguito all'elaborazione, i
dati vengono memorizzati in un database. Dopo aver elaborato e memorizzato i dati
nel database, è possibile modificarli.
Rapporti: generalmente, per accedere ai dati viene utilizzata l'interfaccia web.
Come funziona Google Analytics
05 - Tools, storage & processing 135
marco domizio
Come funziona Google Analytics
05 - Tools, storage & processing 136
marco domizio
Il ciclo di pianificazione della misurazione è composto dai seguenti passaggi:
• Definizione del piano di misurazione
• Documentare gli obiettivi di business.
• Identificare le strategie e le tattiche per supportare gli obiettivi.
• Scegliere le metriche che saranno gli indicatori chiave di prestazione.
• Decidere come segmentare i dati.
• Scegliere gli obiettivi per gli indicatori chiave di prestazione.
• Creazione di un piano di implementazione.
• Implementazione del piano.
• Gestione e perfezionamento.
Creare un piano di misurazione
05 - Tools, storage & processing 137
marco domizio
I rapporti di Google Analytics contengono dimensioni e metriche.
Più comunemente, le dimensioni e le metriche vengono indicate in una tabella, in
cui la prima colonna contiene un elenco di valori per una determinata dimensione
mentre le altre colonne mostrano le metriche corrispondenti.
Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle azioni
eseguite.
Le metriche sono le misurazioni quantitative di utenti, sessioni e azioni. Sono dati
numerici.
Gli eventi sono interazioni tra utenti e contenuti monitorabili indipendentemente
dal caricamento di una pagina web o di una schermata.
Concetti chiave
05 - Tools, storage & processing 138
marco domizio
Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle
azioni eseguite. Ad es. la dimensione Città descrive una caratteristica delle
sessioni e indica la città.
Le metriche sono misurazioni quantitative. Ad es. la metrica Sessioni indica il
numero totale di sessioni. La metrica Pagine/sessione indica il numero medio di
pagine visualizzate a ogni sessione.
Ogni report in Google Analytics contiene entrambe le dimensioni e metriche.
Metriche e dimensioni
05 - Tools, storage & processing 139
marco domizio
La segmentazione ti consente di isolare e analizzare i sottoinsiemi di dati.
I segmenti sono filtri non distruttivi. Ad esempio, puoi segmentare i dati in base ai
canali di marketing per individuare il canale che fa registrare un incremento degli
acquisti.
I segmenti rappresentano sottoinsiemi di sessioni o sottoinsiemi di utenti.
• Sottoinsiemi di sessioni: ad esempio, tutte le sessioni che hanno origine dalla
Campagna A;
• tutte le sessioni durante le quali è stato generato un acquisto.
• Sottoinsiemi di utenti: ad esempio, gli utenti che hanno in precedenza effettuato
acquisti; utenti che hanno aggiunto articoli al carrello degli acquisti ma che non
hanno completato un acquisto.
Segmentazione dei dati
05 - Tools, storage & processing 140
marco domizio
L’impostazione degli obiettivi in Google Analytics è uno dei passaggi più importanti
dell'implementazione.
Una volta attivati gli obiettivi, ottieni metriche quali il numero di conversioni e il tasso di
conversione.
Gli obiettivi ti consentono di mappare i dati in Google Analytics in base agli indicatori
chiave di prestazione definiti nella pianificazione della misurazione.
Obiettivi ed ecommerce
05 - Tools, storage & processing 141
marco domizio
Esistono quattro tipi di obiettivo. Gli obiettivi vengono impostati a livello di vista
Obiettivo Destinazione è una pagina del tuo sito web che gli utenti visualizzano in
seguito al completamento di un'attività. Per la creazione di un account, potrebbe essere
la pagina di ringraziamento per la registrazione. Per un acquisto, potrebbe essere la
pagina della ricevuta. Un obiettivo Destinazione dà inizio a una conversione quando un
utente visualizza la pagina da te specificata.
Obiettivo Evento viene attivato quando un utente esegue un'operazione specifica, ad
esempio scarica un PDF o avvia un video. Per utilizzare questo tipo di obiettivo, è
necessario aver implementato il monitoraggio degli eventi nel sito web.
Obiettivi ed ecommerce
05 - Tools, storage & processing 142
marco domizio
Obiettivo Pagine per visita viene attivato quando un utente visualizza più o meno pagine
rispetto a una determinata soglia.
Obiettivo Durata viene attivato quando la visita di un utente supera/non raggiunge una
determinata soglia.
Obiettivi ed ecommerce
05 - Tools, storage & processing 143
marco domizio
C'è una differenza importante tra conversioni all'obiettivo e transazioni e-commerce.
Durante una visita, una conversione all'obiettivo può essere conteggiato una sola volta
mentre una transazione e-commerce può essere conteggiata più volte.
Ecco un esempio.
Supponiamo che uno degli obiettivi impostati sia il download di un PDF e che ogni
download sia considerato una conversione all'obiettivo valida. Supponiamo inoltre che il
valore dell'obiettivo sia € 5. In questo caso, se un utente accede al sito e scarica cinque
file PDF durante una singola sessione, ottieni una sola conversione del valore di € 5.
Tuttavia, se monitorassi ognuno di questi download come transazione e-commerce di €
5, registreresti cinque transazione ed € 25 di entrate e-commerce.
Obiettivi ed ecommerce
05 - Tools, storage & processing 144
marco domizio
Ottieni ulteriori dati sulla provenienza degli utenti provenienti dai referral che accedono
ai tuoi contenuti e, conseguentemente, identificare i modi più efficaci per attirare nuovi
visitatori.
Per utilizzare le campagne personalizzate, è necessario aggiungere negli URL alcuni
parametri in grado di identificare il posizionamento di tali link nell'ambito di una
specifica campagna in corso di pubblicazione. Quando un utente fa clic su un link, tali
parametri vengono inviati ai rapporti Analytics, in modo che sia possibile scoprire gli URL
su cui gli utenti fanno clic per accedere ai tuoi contenuti.
Per impostare campagne personalizzate, devi aggiungere parametri alla fine degli URL
(utm_source, utm_medium, utm_campaign, utm_term, utm_content)
Campagne
05 - Tools, storage & processing 145
marco domizio
Rapporti
05 - Tools, storage & processing 146
marco domizio
Come funziona
05 - Tools, storage & processing
DEMO ONLINE
14717:39
marco domizio
Marco Domizio
Digital Transformation Consultant
Affianco imprenditori a realizzare progetti
digitali per aumentare clienti e vendite
m.domizio@tiscali.it
+39 335 1223483
Un obiettivo,
senza un
piano, rimane
solo un
desiderio.
“GRAZIE!
148

More Related Content

What's hot

Smau Bologna 2015 - Paolo Pasini
Smau Bologna 2015 - Paolo PasiniSmau Bologna 2015 - Paolo Pasini
Smau Bologna 2015 - Paolo Pasini
SMAU
 
Business Intelligence & Big Data per il Retail
Business Intelligence & Big Data per il RetailBusiness Intelligence & Big Data per il Retail
Business Intelligence & Big Data per il Retail
Roberto Butinar
 
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
Free Your Talent
 
Noovle: Big Data & BI
Noovle: Big Data & BINoovle: Big Data & BI
Noovle: Big Data & BI
Lorenzo Ridi
 
Zeebra big dataanalytics_v1.1
Zeebra big dataanalytics_v1.1Zeebra big dataanalytics_v1.1
Zeebra big dataanalytics_v1.1
Alessandro Trinca Arnould
 
Offering - Big data: le fondamenta per i nuovi business
Offering - Big data: le fondamenta per i nuovi businessOffering - Big data: le fondamenta per i nuovi business
Offering - Big data: le fondamenta per i nuovi business
Xenesys
 
Big Data: Analisi del Sentiment
Big Data: Analisi del SentimentBig Data: Analisi del Sentiment
Big Data: Analisi del Sentiment
Miriade Spa
 
IDC Big Data & Analytics Conference 2014
IDC Big Data & Analytics Conference 2014IDC Big Data & Analytics Conference 2014
IDC Big Data & Analytics Conference 2014
IDC Italy
 
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
Keen Consulting
 
Offering - Business Intelligence: il nostro approccio
Offering - Business Intelligence: il nostro approccioOffering - Business Intelligence: il nostro approccio
Offering - Business Intelligence: il nostro approccio
Xenesys
 
Big Data & Data Mining
Big Data  & Data MiningBig Data  & Data Mining
Big Data & Data Mining
Andrea Frison
 
Il business intelligente
Il business intelligenteIl business intelligente
Il business intelligente
Bifactory
 
Business intelligence: Un approccio Quick & Dirty
Business intelligence: Un approccio Quick & Dirty Business intelligence: Un approccio Quick & Dirty
Business intelligence: Un approccio Quick & Dirty SMAU
 
Big Data 2014: Marketing & Social Media
Big Data 2014: Marketing & Social MediaBig Data 2014: Marketing & Social Media
Big Data 2014: Marketing & Social Media
Valerio Torriero
 
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013Pragma Management Systems S.r.l.
 
Big data
Big dataBig data
Big data
Franco Tampieri
 
Big data: opportunità o minaccia?
Big data: opportunità o minaccia?Big data: opportunità o minaccia?
Big data: opportunità o minaccia?
Stefano Gatti
 
Articolo qualita 3_2018_nicola_mezzetti
Articolo qualita 3_2018_nicola_mezzettiArticolo qualita 3_2018_nicola_mezzetti
Articolo qualita 3_2018_nicola_mezzetti
Nicola Mezzetti
 
Introduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei datiIntroduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei dati
Vincenzo Manzoni
 

What's hot (20)

Smau Bologna 2015 - Paolo Pasini
Smau Bologna 2015 - Paolo PasiniSmau Bologna 2015 - Paolo Pasini
Smau Bologna 2015 - Paolo Pasini
 
Business Intelligence & Big Data per il Retail
Business Intelligence & Big Data per il RetailBusiness Intelligence & Big Data per il Retail
Business Intelligence & Big Data per il Retail
 
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
Digital Transformation: Big Data, User Targeting ed Etica - Project Work Mast...
 
Noovle: Big Data & BI
Noovle: Big Data & BINoovle: Big Data & BI
Noovle: Big Data & BI
 
Zeebra big dataanalytics_v1.1
Zeebra big dataanalytics_v1.1Zeebra big dataanalytics_v1.1
Zeebra big dataanalytics_v1.1
 
Offering - Big data: le fondamenta per i nuovi business
Offering - Big data: le fondamenta per i nuovi businessOffering - Big data: le fondamenta per i nuovi business
Offering - Big data: le fondamenta per i nuovi business
 
Big Data: Analisi del Sentiment
Big Data: Analisi del SentimentBig Data: Analisi del Sentiment
Big Data: Analisi del Sentiment
 
FANTIN BIG DATA (1)
FANTIN BIG DATA (1)FANTIN BIG DATA (1)
FANTIN BIG DATA (1)
 
IDC Big Data & Analytics Conference 2014
IDC Big Data & Analytics Conference 2014IDC Big Data & Analytics Conference 2014
IDC Big Data & Analytics Conference 2014
 
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
BIG DATA, un grande potenziale da sfruttare (da Sistemi&Impresa, Dicembre 2015)
 
Offering - Business Intelligence: il nostro approccio
Offering - Business Intelligence: il nostro approccioOffering - Business Intelligence: il nostro approccio
Offering - Business Intelligence: il nostro approccio
 
Big Data & Data Mining
Big Data  & Data MiningBig Data  & Data Mining
Big Data & Data Mining
 
Il business intelligente
Il business intelligenteIl business intelligente
Il business intelligente
 
Business intelligence: Un approccio Quick & Dirty
Business intelligence: Un approccio Quick & Dirty Business intelligence: Un approccio Quick & Dirty
Business intelligence: Un approccio Quick & Dirty
 
Big Data 2014: Marketing & Social Media
Big Data 2014: Marketing & Social MediaBig Data 2014: Marketing & Social Media
Big Data 2014: Marketing & Social Media
 
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013
Big data e nuova conoscenza aziendale_Paolo Pasini_Summit Italia 2013
 
Big data
Big dataBig data
Big data
 
Big data: opportunità o minaccia?
Big data: opportunità o minaccia?Big data: opportunità o minaccia?
Big data: opportunità o minaccia?
 
Articolo qualita 3_2018_nicola_mezzetti
Articolo qualita 3_2018_nicola_mezzettiArticolo qualita 3_2018_nicola_mezzetti
Articolo qualita 3_2018_nicola_mezzetti
 
Introduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei datiIntroduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei dati
 

Similar to Big data segnali dal futuro

Big Data per Madee 7 at Digital Accademia
Big Data per Madee 7 at Digital AccademiaBig Data per Madee 7 at Digital Accademia
Big Data per Madee 7 at Digital Accademia
Gianluigi Cogo
 
2014 ottobre Big Data per Madee 6
2014 ottobre Big Data per Madee 62014 ottobre Big Data per Madee 6
2014 ottobre Big Data per Madee 6
Gianluigi Cogo
 
Bigdata per Madee 4
Bigdata per Madee 4Bigdata per Madee 4
Bigdata per Madee 4
Gianluigi Cogo
 
Presentazione bigdata Madee
Presentazione bigdata MadeePresentazione bigdata Madee
Presentazione bigdata Madee
Gianluigi Cogo
 
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
Fondazione Istituto Tecnico Superiore J. F. Kennedy
 
Next future bi
Next future biNext future bi
Next future bi
Guttadauro Network
 
Il mondo dei Big Data
Il mondo dei Big DataIl mondo dei Big Data
Il mondo dei Big Data
TOOLS for SMART MINDS
 
Big data e data analitycs come e cosa fare dei dati raccolti
Big data e data analitycs come e cosa fare dei dati raccoltiBig data e data analitycs come e cosa fare dei dati raccolti
Big data e data analitycs come e cosa fare dei dati raccolti
Delta Sales
 
AISM_Lazzarini_Bologna_2015_v3
AISM_Lazzarini_Bologna_2015_v3AISM_Lazzarini_Bologna_2015_v3
AISM_Lazzarini_Bologna_2015_v3Fabio Lazzarini
 
Smau Bologna 2015 - AISM
Smau Bologna 2015 - AISMSmau Bologna 2015 - AISM
Smau Bologna 2015 - AISM
SMAU
 
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
Denodo
 
ICT trends 2015 - il nostro prossimo futuro
ICT trends 2015 -  il nostro prossimo futuroICT trends 2015 -  il nostro prossimo futuro
ICT trends 2015 - il nostro prossimo futuro
Alessandro Canella
 
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
SMAU
 
Intelligenza Artificiale e Marketing.pptx
Intelligenza Artificiale e Marketing.pptxIntelligenza Artificiale e Marketing.pptx
Intelligenza Artificiale e Marketing.pptx
39Marketing
 
Data skills: come e perché diffonderle in azienda genera vantaggio competitivo
Data skills: come e perché diffonderle in azienda genera vantaggio competitivoData skills: come e perché diffonderle in azienda genera vantaggio competitivo
Data skills: come e perché diffonderle in azienda genera vantaggio competitivo
SMAU
 
Big Data e la forza degli eventi - Intervento di Lieto
Big Data e la forza degli eventi - Intervento di LietoBig Data e la forza degli eventi - Intervento di Lieto
Big Data e la forza degli eventi - Intervento di Lieto
comunicareonline
 
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
Denodo
 
DS4Biz - Data Science for Business
DS4Biz - Data Science for BusinessDS4Biz - Data Science for Business
DS4Biz - Data Science for Business
MeetupDataScienceRoma
 
Gaetano Pellegrino - Open Gate Italia
Gaetano Pellegrino - Open Gate ItaliaGaetano Pellegrino - Open Gate Italia
Gaetano Pellegrino - Open Gate Italia
Data Driven Innovation
 
FinScience
FinScienceFinScience
FinScience
Marco Belmondo
 

Similar to Big data segnali dal futuro (20)

Big Data per Madee 7 at Digital Accademia
Big Data per Madee 7 at Digital AccademiaBig Data per Madee 7 at Digital Accademia
Big Data per Madee 7 at Digital Accademia
 
2014 ottobre Big Data per Madee 6
2014 ottobre Big Data per Madee 62014 ottobre Big Data per Madee 6
2014 ottobre Big Data per Madee 6
 
Bigdata per Madee 4
Bigdata per Madee 4Bigdata per Madee 4
Bigdata per Madee 4
 
Presentazione bigdata Madee
Presentazione bigdata MadeePresentazione bigdata Madee
Presentazione bigdata Madee
 
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
Big data e Business Intelligence | presentazione open day @Fondazione Kennedy...
 
Next future bi
Next future biNext future bi
Next future bi
 
Il mondo dei Big Data
Il mondo dei Big DataIl mondo dei Big Data
Il mondo dei Big Data
 
Big data e data analitycs come e cosa fare dei dati raccolti
Big data e data analitycs come e cosa fare dei dati raccoltiBig data e data analitycs come e cosa fare dei dati raccolti
Big data e data analitycs come e cosa fare dei dati raccolti
 
AISM_Lazzarini_Bologna_2015_v3
AISM_Lazzarini_Bologna_2015_v3AISM_Lazzarini_Bologna_2015_v3
AISM_Lazzarini_Bologna_2015_v3
 
Smau Bologna 2015 - AISM
Smau Bologna 2015 - AISMSmau Bologna 2015 - AISM
Smau Bologna 2015 - AISM
 
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
La Data Virtualization a supporto della Data Science: "Da grandi poteri deriv...
 
ICT trends 2015 - il nostro prossimo futuro
ICT trends 2015 -  il nostro prossimo futuroICT trends 2015 -  il nostro prossimo futuro
ICT trends 2015 - il nostro prossimo futuro
 
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
Smau Bologna|R2B 2019 Fabio Lazzarini (AISM)
 
Intelligenza Artificiale e Marketing.pptx
Intelligenza Artificiale e Marketing.pptxIntelligenza Artificiale e Marketing.pptx
Intelligenza Artificiale e Marketing.pptx
 
Data skills: come e perché diffonderle in azienda genera vantaggio competitivo
Data skills: come e perché diffonderle in azienda genera vantaggio competitivoData skills: come e perché diffonderle in azienda genera vantaggio competitivo
Data skills: come e perché diffonderle in azienda genera vantaggio competitivo
 
Big Data e la forza degli eventi - Intervento di Lieto
Big Data e la forza degli eventi - Intervento di LietoBig Data e la forza degli eventi - Intervento di Lieto
Big Data e la forza degli eventi - Intervento di Lieto
 
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
La gestione logica dei dati come chiave del successo per Data Scientist e Bus...
 
DS4Biz - Data Science for Business
DS4Biz - Data Science for BusinessDS4Biz - Data Science for Business
DS4Biz - Data Science for Business
 
Gaetano Pellegrino - Open Gate Italia
Gaetano Pellegrino - Open Gate ItaliaGaetano Pellegrino - Open Gate Italia
Gaetano Pellegrino - Open Gate Italia
 
FinScience
FinScienceFinScience
FinScience
 

Big data segnali dal futuro

  • 1. Analytics for management Big data: segnali dal futuro marco domizio | 11/11/2017 1
  • 2. marco domizio Marco Domizio Digital Transformation Consultant Affianco imprenditori a realizzare progetti digitali per aumentare clienti e vendite m.domizio@tiscali.it +39 335 1223483 Un obiettivo, senza un piano, rimane solo un desiderio. “ 2
  • 3. marco domizio L’era della rivoluzione digitale sta cambiando le modalità con cui le aziende creano prodotti e servizi, adattano la propria organizzazione e sviluppano le relazioni con i clienti. I Big Data aprono le porte verso nuovi modi di percepire il mondo e di prendere decisioni. Essi sono ovunque, e ogni giorno sempre più applicazioni vengono create per trarne valore e arricchire la vita personale e professionale degli utenti. I Big Data sono il nuovo strumento che rende "misurabile" la società. Ci indirizzano verso una nuova scienza dei dati in grado di misurare e, in prospettiva, prevedere crisi economiche, epidemie e pandemie, di usione di opinioni, distribuzione delle risorse economiche o energetiche, bisogni di mobilità. Scopriamo come creare valore per la nostra organizzazione. Big data INTRODUZIONE Di cosa parliamo? | Executive summary LE SFIDE Per capire dove ci si trova, è necessaria una mappa CREARE VALORE Se una cosa non può essere misurata, non può essere migliorata 01 02 PIANO EVERYWHERE Tutto questo è imbarazzante 03 ANALYTICS Analizza i fatti, parla con i dati 04 TOOLS Uno sguardo agli strumenti di lavoro 05 309:07
  • 4. 01 BIG DATA: LE SFIDE Per capire dove ci si trova, è necessaria una mappa
  • 5. marco domizio Trasformare i dati grezzi in saggezza guidata Nell'era dei Big Data, la sfida è trovare metodi automatizzati e industriali per realizzare questa trasformazione. GESTIONE DEI DATI CONSAPEVOLEZZA MISSION 01 - BIG DATA: LE SFIDE 5
  • 6. marco domizio Obiettivi 01 - BIG DATA: LE SFIDE “C’è una sola definizione valida dello scopo del business: creare un cliente. Sarà quest’ultimo che determinerà ciò che deve essere il business. Non è fondamentale quello che un’impresa pensa di produrre … bensì quello che il cliente pensa di comprare e che valore attribuisce a quell’acquisto” Peter Drucker, The Practice of Management 6
  • 7. marco domizio  How many data in the world?  800 Terabytes,2000  160 Exabytes, 2006 (1EB = 1018B)  4.5 Zettabytes, 2013 (1ZB = 1021B)  44 Zettabytes by 2020  How much is a zettabyte?  1,000,000,000,000,000,000,000 bytes  A stack of 1TB hard disks that is 25,400 km high  How many data in a day?  2.5 Exabytes  8TB,Twitter  50 TB,Facebook  90% of world's data:  generated over last two years! ALCUNI NUMERI CONSAPEVOLEZZA 01 - BIG DATA: LE SFIDE 7
  • 8. marco domizio I numeri 01 - BIG DATA: LE SFIDE 8
  • 9. marco domizio I numeri 01 - BIG DATA: LE SFIDE 9
  • 10. marco domizio I numeri 01 - BIG DATA: LE SFIDE 10
  • 11. marco domizio Ecosistema digitale 01 - BIG DATA: LE SFIDE 11
  • 12. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 12
  • 13. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 13
  • 14. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 14
  • 15. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 15
  • 16. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 16
  • 17. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 17
  • 18. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 18
  • 19. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 19
  • 20. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 20
  • 21. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 21
  • 22. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 22
  • 23. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 23
  • 24. marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 24
  • 27. marco domizio BA, BI, Big data, data mining… 01 - BIG DATA: LE SFIDE • Business Analytics – Strumenti per esplorare i dati passati per ottenere informazioni sulle future decisioni aziendali. • BI – Strumenti e tecniche per trasformare i dati in informazioni significative. • Big Data – set di dati così grandi o complessi che le applicazioni tradizionali di elaborazione dati sono inadeguate. • Data Mining - Strumenti per scoprire modelli in grandi set di dati. 27
  • 28. marco domizio Obiettivi data analytics 01 - BIG DATA: LE SFIDE Past Future 28
  • 29. marco domizio Obiettivi data analytics 01 - BIG DATA: LE SFIDE Descriptive analytics Predictive analytics Prescriptive analytics Cosa sta succedendo? Tecniche analitiche e statistiche per l’estrazione di quantità che descrivano l’insieme di dati nel loro complesso: media, varianza, ecc… (Anche chiamato passive BI). Cosa succederà? Tecniche analitiche, modelli matematici ed algoritmi per l’analisi del dato storico e la predizione o di eventi sconosciuti o di andamenti futuri dei fenomeni sotto studio. (Active BI) Cosa posso fare? Tecniche analitiche, modelli matematici ed algoritmi per l’analisi delle decisioni alternative e la selezione di quelle che massimizzano l’efficacia rispetto agli obiettivi individuati. (Active BI). 29
  • 30. marco domizio Evoluzione 01 - BIG DATA: LE SFIDE 30
  • 31. marco domizio Il futuro 01 - BIG DATA: LE SFIDE 31
  • 32. marco domizio • Economia incerta • Ambienti in rapida evoluzione • Concorrenza globale • Digital transformation • Clienti esigenti Sfruttare le informazioni acquisite dalle aziende è un fattore critico di successo. Supporto alle decisioni Modello 01 - BIG DATA: LE SFIDE 32
  • 33. marco domizio Big data 01 - BIG DATA: LE SFIDE “Big data exceeds the reach of commonly used hardware environments and software tools to capture, manage, and process it with in a tolerable elapsed time for its user population.” “Big data refers to data sets whose size is beyond the ability of typical database software tools to capture, store, manage and analyze.” “Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools.” 33
  • 34. marco domizio Big data 01 - BIG DATA: LE SFIDE 34
  • 35. marco domizio Valore=utilità dei dati per un'organizzazione. La caratteristica di valore è intuitivamente legata alla caratteristica di veridicità, in quanto maggiore e la fedeltà dei dati, e più valore essi hanno per il business. Il valore dipende anche da quanto tempo impiega l'elaborazione dei dati affinchè risultati analitici abbiano una shelf-life. Piu tempo impiegano i dati per essere trasformati in informazioni significative, meno valore hanno per il business. Risultati stantii inibiscono la qualità e la velocità del processo decisionale. Valore 01 - BIG DATA: LE SFIDE 35
  • 36. marco domizio Quindi? 01 - BIG DATA: LE SFIDE 3610:07
  • 37. 02 BIG DATA ANALYTICS: CREARE VALORESe una cosa non può essere misurata, non può essere migliorata
  • 38. marco domizio • market level • brand/product level • customer level LIVELLI Modello 02 - CREARE VALORE Market Brand/ products Customer 3811:07
  • 39. marco domizio • Tangibili (transazioni, registrazioni…) • Intangibili (brand reputation, recensioni…) ASSET Modello 02 - CREARE VALORE 39
  • 40. marco domizio • Persone esperte • Sistemi: ecosistema integrato • Processi: immissione, accessibilità e gestione • Organizzazione FUNZIONALITA’ Modello 02 - CREARE VALORE VALUE GENERATION people process system organization 40
  • 41. marco domizio • Analisi focalizzata sulle intuizioni per ottenere successo • Analisi che mira a sviluppare modelli per migliorare il processo decisionale. APPROCCIO Modello 02 - CREARE VALORE 41
  • 42. marco domizio La presenza di big data offre enormi opportunità. 1. avviare un analisi e iniziare a scavare nei dati disponibili. (Tesco analizzando i dati della loro carta fedeltà, hanno scoperto che i consumatori acquisto di pannolini spesso acquistano anche birra e patatine) 2. approccio problematico, anziché un approccio esplorativo. STRATEGIA Modello 02 - CREARE VALORE 42
  • 43. marco domizio • V2C value to client • V2F value to firm PROSPETTIVE Modello 02 - CREARE VALORE 43
  • 44. marco domizio Le metriche sono sistemi che quantificano le tendenze, le dinamiche, o caratteristiche METRICHE 02 - CREARE VALORE 44
  • 45. marco domizio V2C: METRICHE DI MERCATO 02 - CREARE VALORE Obiettivi: product awareness & values Metriche: • Relative advantage: è il grado in cui un'idea o un prodotto viene percepito come meglio dello standard esistente • Complexity: quanto sia facile per la gente capire la nuova idea o utilizzare il nuovo prodotto • Compatibility: Quanto facilmente posso utilizzare la mia esperienza passata per capire come funziona questo nuovo prodotto • Observability: i risultati evidenti provando un prodotto • Trialability: E’ facile interagire con i nuovi concetti o sperimentare il prodotto? 45
  • 46. marco domizio V2C:METRICHE DI BRAND 02 - CREARE VALORE Obiettivo: Brand awareness Metriche: • Differentiation: Distinguere la percezione del marchio. Definisce il marchio e riflette la sua capacità di distinguersi dalla concorrenza. È il "motore del marchio: ... se il motore si ferma, così sarà il treno“. • Relevance: rilevanza personale e l'adeguatezza e l'importanza percepita del marchio. • Esteem: Il livello di rispetto dei consumatori per il marchio e la valenza dell'atteggiamento dei consumatori. Riflette in che misura il brand mantiene le sue promesse. • Knowledge: Consapevolezza e comprensione dell'identità del marchio. Cattura l'intimità dei consumatori con il marchio. Risultati delle comunicazioni (marketing) e delle esperienze personali con il marchio. • Energy: La capacità del marchio di soddisfare le esigenze dei consumatori in futuro e di adattarsi e rispondere ai gusti e alle esigenze mutevoli. Indica orientamento futuro e capacità del marchio. Brand-Asset Valuator®: Young & Rubicam 46
  • 47. marco domizio V2C:USER GENERATED CONTENT 02 - CREARE VALORE • Digital brand association networks • Summarized digital brand metrics • Social media brand metrics. 47
  • 48. marco domizio V2C:METRICHE CUSTOMER 02 - CREARE VALORE Customer feedback metrics • Net promoter score (NPS): per valutare la fedeltà in una relazione impresa-cliente. È un'alternativa alla tradizionale ricerca di soddisfazione del cliente ed è correlata con la crescita dei ricavi • Customer satisfaction • Customer effort score • Source: • Fonte di dati interni (transazioni, reclami, tempo di ripristino servizio, ..) • Fonti online: recensioni 48
  • 49. marco domizio V2C:TUTTE? 02 - CREARE VALORE Concentrarsi su un numero limitato di metriche e includerli in una dashboard di marketing. I manager dovrebbero quindi cercare di influenzare queste metriche con le strategie di marketing 49
  • 50. marco domizio V2F:BRAND METRICS 02 - CREARE VALORE Metriche di performance di mercato del marchio • penetrazione del marchio, • le vendite del marchio • la quota di mercato • fedeltà alla marca • BRAND EQUITY : la performance finanziaria del marchio, il ruolo del marchio nelle decisioni di acquisto, e la forza del marchio, che è la capacità del marchio di creare fedeltà alla marca. 50
  • 51. marco domizio V2F:MARKET METRICS 02 - CREARE VALORE • dimensioni del mercato • numero di concorrenti • concentrazione del mercato (difficile, a causa della frammentazione del mercato es. Supermercati che vendono abbonamenti telefonici….)) 51
  • 52. marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE metriche di acquisizione dei clienti, che si concentrano sulla prima fase di attirare i clienti • Tasso di risposta: il numero di clienti che ha risposto ad una campagna diviso per il numero di clienti totali avvicinato con una campagna • Tasso di conversione: il numero di clienti acquisiti diviso per il numero di clienti che ha risposto a una campagna. metriche di sviluppo dei clienti, che si concentrano su come il rapporto si sviluppa dopo l'acquisizione dei clienti • continuazione del rapporto • tasso di abbandono (Churn) • defezione: la percentuale di clienti che abbandonano il rapporto con la ditta • fidelizzazione dei clienti: la percentuale di clienti proseguire il rapporto con la ditta (1 - il tasso di abbandono dei clienti / defezione) 52
  • 53. marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE • Customer Lifetime Value (CLV) • Frequenza di acquisto: il numero di volte in cui un cliente acquista da una società in un determinato periodo di tempo • Recency: Tempo dall'ultimo acquisto Metriche di espansione del rapporto • Numero medio di prodotti / servizi venduti per cliente • Cross-selling: La percentuale di clienti che acquistano prodotti o servizi aggiuntivi da una società • up-selling: La percentuale di clienti di aggiornare i loro prodotti o servizi a un livello superiore (ad esempio contratto di servizio aggiornato) • adozione: la percentuale di clienti che acquistano il prodotto o il servizio di recente introduzione • … 53
  • 54. marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE Customer Lifetime Value (CLV) il valore attuale dei futuri flussi di cassa attribuiti al cliente durante il suo intero rapporto con la società 1. Margine 2. Durata prevista 3. Investimenti (contributi, Gadgets, Campagne di marketing, Channel costs… ) 54
  • 55. marco domizio Nuove metriche 02 - CREARE VALORE Customer engagement I clienti aggiungono valore non solo con il loro comportamento di acquisto, ma possono anche aggiungere valore scambiando le loro esperienze online, influenzando altri clienti e fornendo un contributo attraverso la co-creazione. Questo comportamento non transazionale viene spesso indicato come “il comportamento di coinvolgimento del cliente” Social network analysis: •number of referrals per customer •number of relationships of a customer with other customers •number of ideas (e.g. new products, service improvements) of customers provided to a firm •influential power of customers 55
  • 56. marco domizio Nuove metriche 02 - CREARE VALORE Omnichannel:seamless experience I clienti, sono sempre più “connessi” e le loro aspettative e la “customer experience” sono in continua evoluzione. Oggi non è più sufficiente gestire più canali di contatto in parallelo (multicanalità), ma è necessaria una loro progettazione e gestione integrata per garantire una piena consistenza tra di essi. 56
  • 57. marco domizio Nuove metriche 02 - CREARE VALORE Digital Customer journey • Number of website visits • Click through rates • Purchase conversion rate • Average order size • Costs of each unique touchpoint • Channel switching • Research shopping percentage 57
  • 58. marco domizio Omnichannel 02 - CREARE VALORE VANTAGGI • avere segmenti di domanda diversi per fruizione ed occasioni di consumo; • massimizzare i benefici e minimizzare gli svantaggi dell’utilizzo di ciascun canale; • massimizzare la possibilità di raccogliere e analizzare i dati relativi ai clienti, attraverso fonti diverse; • sfruttare le economie di scala connesse alla standardizzazione in una molteplicità di canali dei processi operativi RISCHI • problemi interni quali conflitti tra canali che si rivolgono agli stessi clienti, rischi di cannibalizzazione delle vendite tra canali, rischi di sottoutilizzazione delle risorse, rischi legati alla disomogeneità del prezzo dei prodotti collocati in canali differenti, all’asincronia della comunicazione di brand, ecc.; • problemi esterni quali la decisione di aprire un sito internet come canale di vendita diretto da parte del produttore, il trasferimento di responsabilità di alcune fasi della catena del valore. 58
  • 59. marco domizio Omnichannel 02 - CREARE VALORE 59
  • 60. marco domizio Omnichannel 02 - CREARE VALORE 6012:04
  • 61. 03 BIG DATA, EVERYWHERE Tutto questo è imbarazzante
  • 62. marco domizio I dati sono ovunque 03 - BIG DATA, EVERYWHERE Tipi di dati • Strutturati • Non strutturati Fonte dei dati • Interna • esterna 62
  • 63. marco domizio Tipi di dati 03 - BIG DATA, EVERYWHERE strutturati: sono conformi a uno schema o modello dei dati e vengono spesso archiviati in forma tabellare. Essi sono utilizzati per acquisire le relazioni tra entità diverse e, pertanto, sono più spesso archiviati in un database relazionale e vengono generati da applicazioni aziendali, come sistemi ERP e CRM. non strutturati: I dati che non sono conformi a un modello o schema di dati sono noti come dati non strutturati. Si stima che i dati non strutturati costituiscono l'80% dei dati all'interno di qualsiasi organizzazione. I dati non strutturati non possono essere direttamente elaborati o eseguiti tramite una query, utilizzando SQL. (testo, audio, video ed immagini) semi-strutturati: I dati semi-strutturati hanno un livello definito di struttura e consistenza, ma non sono relazionali nella loro natura. Anzi, i dati semi-strutturati sono gerarchici o basati sui grafi. Questo tipo di dati è comunemente archiviato nei file che contengono testo. A causa della natura testuale di questi dati, e della loro conformità a qualche livello di struttura, sono più facilmente elaborati rispetto ai dati non strutturati. (XML, Json, Sensori...) metadati: forniscono informazioni sulle caratteristiche e sulla struttura di un dataset. Questo tipo di dati è, in gran parte, generato dalla macchina e può essere visto come un livello aggiunto ai dati "grezzi". Il tracciamento dei metadati è cruciale per l'elaborazione, l'archiviazione e l'analisi dei Big Data perché fornisce informazioni circa il "pedigree" dei dati e la loro provenienza durante l'elaborazione. Le soluzioni Big Data si basano sui metadati, particolarmente per l'elaborazione di dati semi-strutturati e non strutturati 63
  • 64. marco domizio ZIP-Code 03 - BIG DATA, EVERYWHERE Nielsen-Claritas information ZIP-code 64
  • 65. marco domizio 5W + 1H 03 - BIG DATA, EVERYWHERE I keep six honest serving-men They taught me all I knew; Their names are What and Why and When And How and Where and Who (Ruyard Kipling) Queste domande “W” sono spesso risolte solo da un unico punto di vista / origine dati. Questo può causare problemi perché le risposte alle diverse s “W” potrebbero non essere coerenti, o possono addirittura essere contraddittorie. Difficoltà tecnico, statistiche e legali 65
  • 66. marco domizio Caratteristiche 03 - BIG DATA, EVERYWHERE 66
  • 67. marco domizio Integrazione dati 03 - BIG DATA, EVERYWHERE 67
  • 68. marco domizio Integrazione dati 03 - BIG DATA, EVERYWHERE Extract •selezione delle sorgenti di dati pertinenti •Convalida •Metodo (manuale o automatico) •Frequenza Transformation •Selezione di alcuni dati attributi •Sostituzione di valori dei dati (ad esempio “M” invece di “maschio”), •tradurre i valori da caratteri in numerico (ad esempio “1” invece di “cliente attiva”), •calcolare i valori (entrate IVA esclusa = ricavi diviso per 1,22), •l'estrazione e la suddivisione variabili in variabili differenti (ad esempio, tirando fuori il numero civico e il nome della strada del campo di indirizzo e di metterlo in due nuove variabili). Load •Staging/backup •Sovrascittura/aggiunta 68
  • 69. marco domizio Varietà dei dati 03 - BIG DATA, EVERYWHERE • dati dichiarati (descrittori dei clienti) • dati aggiunti (dati delle transazioni e di fatturazione, i dati di contatto, i dati di contatto di marketing, le caratteristiche, il comportamento dei consumatori, i dati delle prestazioni del marchio) … • Dati impliciti (segmentazione, modelli di scoring, share of wallet, frequenza di recency valore monetario (RFM) classificazione, ecc). 69
  • 70. marco domizio Le sfide dell’Integrazione dati 03 - BIG DATA, EVERYWHERE 70
  • 71. marco domizio Le sfide dell’Integrazione dati 03 - BIG DATA, EVERYWHERE Tecnica •Integrazione a livello individuale (es. ID univoco nelle diverse base di dati) •Integrazione a livello intermedio (es. segmentazione in base alle dimensioni che possono essere identificati in tutte le sorgenti da integrare –età, reddito…) •Integrazione a livello tempo (es. dati verranno aggregati al periodo di tempo che può essere identificato nelle fonti di dati) Analitica •Sincornizzazione di dimensioni e segmenti nelle diverse basi di dati (es ga e i visitatori al mio sito:i canali (fb, google..) sono le dimensioni a cui applico delle metriche mentre i segmenti sono le fasce di età..) •KPI and P&L 71
  • 72. marco domizio Privacy & Security BIG DATA, EVERYWHERE 03 - BIG DATA, EVERYWHERE Big data, minaccia per la privacy • Big Data sono disponibili in modo permanente • Big Data coinvolgono grandi volumi di dati. • Big data vengono raccolti invisibilmente. • Non esiste una buona valutazione della sensibilità della privacy dei dati a causa del grande volume di dati • Non sono accessibili e comprensibile dai clienti. • I dati provenienti da più fonti vengono fusi. • I clienti percepiscono una mancanza di controllo sulla grande raccolta di dati. 72
  • 73. marco domizio Privacy & Security 03 - BIG DATA, EVERYWHERE Preoccupazioni • La raccolta dei dati: “Troppi dati e informazioni vengono raccolti” • Utilizzo dati: “I dati vengono utilizzati per altri scopi che servire il consumatore” • errori dati: “Gli errori di dati possono avere conseguenze negative” • la violazione dei dati: “Accesso non autorizzato e l'utilizzo dei dati” • Controllo dei dati: “un sufficiente controllo sui propri dati” • coscienza dei dati: “Non è sufficientemente informato sulle politiche di dati.” 73
  • 74. marco domizio Privacy & Security 03 - BIG DATA, EVERYWHERE Legislazione europea • Right to be forgotten: Customers have the right that their information can be deleted if they require it • Right of portability: Customers have the right to view their collected personal information • Informed consent: Privacy is default for customers. Data are only collected if a customer opts for that (opt-in) • Clear notice: There is an official save time of contact information • Privacy by design: Protection of privacy should be part of the whole design or engineering process of new product and service innovations. 74
  • 75. marco domizio La Normativa della General Data Protection o GDPR (EU) 2016/679 è la nuova normativa che ha l’intento di: Rafforzare e unificare le regole di data protection di tutti i cittadini europei Gli obiettivi principali sono: ✓ Fornire ai cittadini il controllo completo dei loro dati personali ✓ Semplificare le normative relative alle attività commerciali in ambito internazionale ✓ Regolare il traffico dei dati personali effettuato al di fuori della comunità europea Panoramica 03 - BIG DATA, EVERYWHERE 75
  • 76. marco domizio Cosa significa «Accountability»? Art. 5.2 del Regolamento Accountability significa che, in forza del Regolamento, il titolare del trattamento deve mettere in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di dimostrare, che il trattamento è stato effettuato conformemente al Regolamento. Aiutano a dimostrare la conformità del trattamento al Regolamento: Accountability 1. la tenuta di un registro del trattamento 2. l’adesione a codici di condotta 3. un meccanismo di certificazione. Privacy & Security 03 - BIG DATA, EVERYWHERE 76
  • 77. marco domizio Il principio di «privacy by design» - o di «protezione dei dati personali fin dalla progettazione» - prevede che ogni titolare o responsabile del trattamento debba tenere in considerazione, sin dalla ideazione e progettazione delle attività di trattamento che intende porre in essere, la protezione della riservatezza dei dati personali degli interessati cui il trattamento si riferisce. Effettuare il trattamento nel rispetto della norma, minimizzando i rischi e rispettando la tutela degli interessati. Il principio di «privacy by default» - o di «protezione dei dati personali «per impostazione predefinita» - prevede che ogni titolare o responsabile effettui il trattamento dei soli dati personali degli interessati nella misura e per il tempo necessari a raggiungere le specifiche finalità del trattamento, implementando, all’interno degli ambienti, dei sistemi informatici e delle infrastrutture di rete utilizzate per tale trattamento, le misure tecniche idonee a proteggere i dati personali degli interessati. Trattare solo dati necessari per raggiungimento delle finalità del trattamento. La tutela della riservatezza «by design» e «by default» Privacy & Security 03 - BIG DATA, EVERYWHERE 77
  • 78. La normativa GDPR riguarda ogni persona informazione ed ogni dato relativo agli individui Le informazioni reltive alla privacy devono essere: Chiare, Facili comprendere, Facili da trovare da chiunque (bambini inclusi) DAL 28 Maggio 2018 La precedente normativa NON sarà più valida In tutta Europa ed Inghilterra • IL GDPR prevede che i Processi e le Verifiche da effettuare devono essere valutate in base ai reali rischi intrinseci L’IT è lo strumento strategico per: Verificare la conformità dei flussi dati coinvolti Verificare la correttezza ed integrità delle delle informazioni gestite Le multe per le violazioni sono estremamente onerose Fino a 20 milioni di Euro Per le aziende il 4% del fatturato globale Normativa 03 - BIG DATA, EVERYWHERE
  • 79. marco domizio ▪ Se tu sei il GESTORE dei dati, il GDPR definisce specifici obblighi giuridici a cui ci sideve attenere. Ad esempio, si è obbligati a custodire i riferimenti di ogni processo e/o attività che riguardino i dati personali delle persone ▪ Qualora si verificasse una violazione sull’uso o gestione dei dati, il GESTORE sarà considerato legalmente responsabile dell’accaduto. Questi obblighi sono nuovi e non erano previsti prima dell’introduzione del GDPR ▪ Se tu sei un REVISORE, non si è esentati dagli obblighi previsti per chi gestisce i dati! La normativa GDPR, definisce specifiche norme e responsabilità per le attività che si svolgono con chi gestisce i dati GDPR si applica a TUTTE le organizzazioni che gestiscono dati relativi i cittadini dell’Unione Europea Normativa 03 - BIG DATA, EVERYWHERE
  • 80. marco domizio ➢ La definizione dei dati personali prevista dal GDPR è più ampia rispetto alle precedenti normative sulla protezione dati e chiarisce che informazioni relative alla presenza online. Un esempio? l’indirizzo IP, è ora considerato come un Dato Personale. ➢ La normativa ha recepito il cambiamenti tecnologici e per questo motivo si è adeguata sfruttando le nuove opportunità offerte dalle nuove tecnologie e comportamenti delle persone ➢ GDPR si applica ai dati gestiti in forma automatizzata, ma anche in quelli gestiti manualmente quando questi fossero accessibili e palesementeidentificabili Dati Personali Dati Personali Sensibili Privacy & Security 03 - BIG DATA, EVERYWHERE 80
  • 81. marco domizio GDPR identifica i dati personali sensibili come: CATEGORIE SPECIALI DI DATI PERSONALI Le categorie dei dati che rientrano in questa categoria sono principalmente gli stessi che erano inseriti nella precedente normativa come: ▪ Etnia o razza della persona ▪ Opinioni politiche ▪ Religione ▪ Membro di sindacato od associazioni ▪ Condizioni fisiche o mentali ▪ Orientamento sessuale DATI IL CUI TRATTAMENTO È VIETATO Il GDPR comunque prevede 10 eccezioni che includono il consenso esplicito per aspetti vitali dell’individuo(art.9) Dati Personali Dati Personali Sensibili Privacy & Security 03 - BIG DATA, EVERYWHERE 81
  • 82. marco domizio Il GDPR richiede che i dati personali siano: ▪ Gestiti secondo la leggevigente ▪ Raccolti e gestiti per fini chiari leciti especifici ▪ Adeguati, pertinenti e limitati esclusivamente allo scopo che si vuole perseguire ▪ Tenuti aggiornati, qualora il fine preposto lo richieda ▪ Gestiti per ottenere dati identificabili esclusivamente e strettamente per il solo scopo previsto ▪ Utilizzati in modo tale da garantire la protezione dei dati singoli personali: Questo include anche la protezione verso utilizzi non autorizzati, illegali, smarrimenti edistruzioni Il Revisore sarà responsabile di quanto sopra elencato ed inoltre: DOVRÀ ESSERE SEMPRE IN GRADO DI DIMOSTRARE L’OSSERVANZA DI QUANTO PREVISTO DALLA LEGGE Accountability 03 - BIG DATA, EVERYWHERE 82
  • 83. marco domizio Il DPPR ha riferimenti chiari al "consenso" e al "consenso esplicito", entrambe le forme di consenso devono essere state fornite liberamente, specifiche, informate e fornire una indicazione inequivocabile dei desideri dell'individuo. ➢Il consenso nel GPDR Richiede chiare «azioni di conferma». Il Silenzio Assenso, Caselle precompilate o mancanza di reazioni da parte della persona NON COSTITUISCE ASSENSO ➢ Il consenso deve essere VERIFICABILE. Questa richiesta prevede che con il consenso si debba raccogliere e conservare quando e come il consenso sia stato fornito ➢ Le persone hanno il diritto di poter revocare il consenso in qualsiasi momento ➢Ci sono comunque soluzioni legalmente valide che permettono quali: quando l’elaborazione è necessaria ai fini degli interessi legittimi dell’azienda o quando si trattano dati (legittimi) per conto di terze parti. La mancanza di dei consensi descritti impedisce le elaborazioni dei dati. In questo caso sarà necessario valutare opportunità alternative che possono essere disponibili nella legislazione vigente. Consenso 03 - BIG DATA, EVERYWHERE 83
  • 84. marco domizio Il GDPR crea nuovi diritti per le persone e ne rafforza alcuni che erano già presenti nella vigente normativa. Il GDPR stabilisce I seguenti diritti per ciascunindividuo: ➢ Il diritto di essere informati (trasparenza su come i dati personali vengono ad essere utilizzati) ➢ Il diritto all’ Accesso (accesso ai propri dati, a come sono utilizzati e qualunque altro dato utilizzato in combinazione con i propri) ➢ Il diritto di rettifica (diritto a rettificare i dati in caso siano incompleti o incorretti) ➢ Il diritto di alla cancellazione (diritto a che i dati siano cancellati quandonnon sussiste alcuna ragione valida per conservarli) ➢ Il diritto a Limitare il trattamento dei dati (si può consentire che i dati siano archiviati, ma non processati) ➢ Il diritto alla portabilità dei dati (Poter trasferire i propri dati da un sistema informatico all’altro senza cheil controllore lo possa impedire) ➢ Il diritto di opporsi(opporsi al trattamento dei propri dati) ➢ Diritto di Contestazione delle decisioni automatizzate (possono essere contestate le decisioni chehanno impatto personale e che sono state prese usando esclusivamente algoritmi informatici) Nuovi diritti 03 - BIG DATA, EVERYWHERE 84
  • 85. marco domizio 1 – Consapevolezza Comunicare le regole della normativa GDPR nell’organizzazione 7 – Consenso Rivedere ed aggiornarela metodologia percercare, otteneree gestire il consenso concedere 3 – Comunicazione Rivedere le attuali regole di privacy, identificarele aree da adeguare per essere in regola 2 – Informazione Comprenderequali dati personali sono gestiti,dove sono e con chi li condividi 8 – Bambini Adottareprocessi e regole per verificare l’età delle persone ed ottenere il consensoin caso di dati relativi a minori 5 – Gestione degli accessi verificare ed aggiornare le procedure che governano le richiestedi accesso ai dati 9 – Violazioni Adottare strumenti e procedure per rilevare,cercare e segnalarepossibili violazioni ai datigestiti 10 – Security byDesign Usare PIA’s quando necessario (PIA = piano impatto sulla protezione dei dati) 12 – International Identificare l’autorità di vigilanza competentein caso di una ispezione in ambito internazionale 11 – Data Protection Officers Identificaree/o nominareil DPO (DPO = Data Protection Officer) 6 – Legale Rivedere la gestione deiprocessi effettuata nell’organizzazione e documentarlo su baselegale 4 – Individui Individuazione dei diritti i diritti delle persone ed aggiornamento delle procedure relative alla privacy 12 tips 03 - BIG DATA, EVERYWHERE 85
  • 86. marco domizio La normativa prevede che per ottemperare al nuovoregolamento,le organizzazionidevono conoscereegestire: ➢ Dove sono gestiti i dati personali ➢ Chi ha accesso ai dati personali ➢ Perché gestiscono dati personali ➢ Con chi condividono i dati personali ➢ Per quanto tempo i dati personalivengono ad essere tenuti ➢ Il consenso fornito per utilizzarli Il GDPR è specifico per ogni azienda !! I controlli devono essere studiati sui possibili e reali rischi esistenti La soluzione vincente è l’ utilizzo di policies e strumenti IT che garantiscano la la riservatezza, integrità, disponibilità e resilienza dei sistemi adottati Il GDPR fornisce alle persone nuovi diritti e poteri per garantire che le proprie informazioni digitali siano elaborate e condivise con le regole prescritte dalla legge vigente I responsabili ed i gestori delle informazioni digitali saranno considerati responsabili nel caso di violazione dei dati Riepilogo 03 - BIG DATA, EVERYWHERE 86
  • 87. marco domizio D.P.O. 03 - BIG DATA, EVERYWHERE D.P.O. (Data Protection Officer) RESPONSABILE PROTEZIONE DATI Tale figura, viene prevista solo in determinati casi: • Se il trattamento è svolto da una pubblica amministrazione; • Se i dati trattati richiedono un monitoraggio regolare e sistematico o su larga scala; • Se vengono trattati dati classificati particolari (relativi alla salute della persona – giudiziari). Il D.P.O. ha una funzione di consulenza, che supporta il titolare od il responsabile, tiene i contatti con l’autorità (Garante), può disporre l’attuazione di misure di sicurezza qualora si rendano indispensabili, può essere interessato anche da tutte le altre figure che operano all’interno dell’azienda, in materia si sicurezza nel trattamento dei dati. Per ogni decisione in materia di trattamento, detta figura DEVE ESSERE CONSULTATA da parte del titolare. Il D.P.O. viene nominato dal titolare del trattamento. Le linee guida emesse dalla commissione WP29, raccomandano la nomina del D.P.O. anche nei casi in cui tale figura non sia obbligatoria. 87
  • 88. marco domizio D.P.I.A. (Data Protection Impact Assessement) 03 - BIG DATA, EVERYWHERE Trattasi di un documento finalizzato a realizzare una analisi dei rischi attraverso lo studio e le modalità di trattamento dei dati. Detto documento deve individuare i rischi correlati e le misure idonee a neutralizzarli e, in ultima ipotesi a gestirli. La stesso deve contenere: • Una descrizione sistematica dei trattamenti previsti; • Le finalità del trattamento; • L’interesse legittimo perseguito dal titolare del trattamento; • Una valutazione della necessità e proporzionalità dei trattamenti in relazione alle finalità; • Una valutazione dei rischi; • Le misure previste per affrontare i rischi; • Le garanzie, le misure di sicurezza e i meccanismi per garantire la protezione dei dati personali. Tale documento risulta obbligatorio quando: • È presente una valutazione sistematica e globale di aspetti personali relativi a persone fisiche, basata su un trattamento automatizzato, compresa la profilazione, e sulla quale si fondano decisioni che hanno effetti giuridici o incidono in modo analogo significativamente su dette persone fisiche; • Viene effettuato un trattamento, su larga scala, di categorie particolari di dati personali (es.sanitari), o di dati giudiziari; • Videosorveglianza. Il D.P.I.A. deve essere redatto dal titolare del trattamento, unitamente al responsabile, in collaborazione con il RESPONSABILE DELLA PROTEZIONE DATI (D.P.O.). 88
  • 89. marco domizio REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO 03 - BIG DATA, EVERYWHERE Ogni titolare del trattamento e, ove applicabile, il suo rappresentante tengono un registro delle attività di trattamento svolte sotto la propria responsabilità. Tale registro contiene tutte le seguenti informazioni: • il nome e i dati di contatto del titolare del trattamento e, ove applicabile, del contitolare del trattamento, del rappresentante del titolare del trattamento e del responsabile della protezione dei dati; • le finalità del trattamento; • una descrizione delle categorie di interessati e delle categorie di dati personali; • le categorie di destinatari a cui i dati personali sono stati o saranno comunicati, compresi i destinatari di paesi terzi od organizzazioni internazionali; • i trasferimenti di dati personali verso un paese terzo o un’organizzazione internazionale, compresa l’identificazione del paese terzo o dell’organizzazione internazionale e, per i trasferimenti di cui al secondo comma dell’articolo 49, la documentazione delle garanzie adeguate; • i termini ultimi previsti per la cancellazione delle diverse categorie di dati; • una descrizione generale delle misure di sicurezza tecniche e organizzative. Tale registro è obbligatorio nei seguenti casi: • imprese od organizzazione con almeno 250 dipendenti; • che il trattamento possa presentare un rischio per i diritti e le libertà dell’interessato; • che il trattamento non sia occasionale; • che il trattamento includa categorie di dati particolari (sanitari o giudiziari). 89
  • 90. marco domizio REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO 03 - BIG DATA, EVERYWHERE Ovviamente anche per quanto concerne procedimenti di informativa agli interessati nonché consenso, sono state previste modiche che rendono obbligatorio riformulare le procedure. E’ opportuno rappresentare come, per CATEGORIA PARTICOLARE DI DATI PERSONALI, devono intendersi dati personali che rivelino: • l’origine razziale o etnica; • le opinioni politiche; • le convinzioni religiose o filosofiche; • l’appartenenza sindacale; • dati genetici; • dati biometrici intesi a identificare in modo univoco una persona fisica (es.videosorveglianza – impronte digitali – iride); • dati relativi alla salute; • dati relativi alla vita sessuale; • dati relativi all’orientamento sessuale. 90
  • 91. marco domizio Alcune regole 03 - BIG DATA, EVERYWHERE • livelli di aggregazione più elevati • Dati anonimi • Pseudonimo • Campione permission-based 91
  • 92. marco domizio Security 03 - BIG DATA, EVERYWHERE • Persone:fallimento umano (perdere chiavetta usb con dati, mail con allegati a persona sbagliata…) o comportamenti scorretti • Sistemi • Processi Regole&controllo • Accesso: come, quando e chi • Continuità: backup, disaster recovery… • Controllo: organizzazione, indicatori e reporting LA PRIVACY E LA SICUREZZA NON SONO UN PROBLEMA DI UFFICIO LEGALE!! 9215:17
  • 93. 04 BIG DATA, ANALYTICS Analizza i fatti, parla con i dati
  • 94. marco domizio Introduzione 04 - ANALYTICS Per analytics si intende l'ampio uso di dati, analisi statistiche e quantitative, modelli esplicativi e predittivi, e basato sui fatti per guidare le decisioni e le azioni” “Qual è l'assortimento ottimale del prodotto da offrire in un negozio?” “Quale sarebbe il livello di prezzo ottimale?” “Attraverso quali canali dovremmo contattare un cliente, al fine di ottimizzare il valore per il cliente?” 94
  • 95. marco domizio Tipi di analisi 04 - ANALYTICS Tipi • Esplicativa: perché • Predittiva Esecuzione • Statica (al tempo t) • Dinamica (al tempo t1, t2, …tn) 95
  • 96. marco domizio Dimensioni 04 - ANALYTICS Dimensione primaria • Problema predefinito • Sfide di marketing • Obiettivi di crescita Dimensione secondaria • Dati predefiniti • CRM, transazioni.. • Combinazione di dati 96
  • 97. marco domizio Problem solving 04 - ANALYTICS “Come si può aumentare il valore dei nostri clienti?” “Quale strategia di prezzo dovrei usare per attirare i clienti più redditizi?” 97
  • 98. marco domizio Data modeling 04 - ANALYTICS Problema: prevedere il tasso di abbandono Obiettivo: trovare relazioni specifiche nei dati Rischio: ad un padre di una adolescente è stato offerto prodotti per l'infanzia, perché sua figlia, apparentemente in stato di gravidanza ha acquistato prodotti per bambini utilizzando il suo programma di fidelizzazione 98
  • 99. marco domizio Data mining 04 - ANALYTICS Dati e problema non pre-definiti :analisi induttiva i dati ampiamente disponibili possono fornire informazioni preziose semplicemente scavando 99
  • 100. marco domizio Data mining 04 - ANALYTICS analisi esplorativa per scoprire nuove relazioni Tesco analizzando i dati della loro carta fedeltà, hanno scoperto che i consumatori acquisto di pannolini spesso acquistano anche birra e patatine 100
  • 101. marco domizio Impatto dei big data 04 - ANALYTICS 101
  • 102. marco domizio Regole 04 - ANALYTICS Una delle dimensioni dei big data è il volume. Non è il volume che è importante, ma che il campione analizzato sia rappresentativo. Il volume è importante solo al fine di ottenere risposte più affidabili. In particolare se: •Se vengono studiate più variabili in un'analisi e specificamente quando si studiano gli effetti di variabili multiple su una variabile di esito •Se uno ha bisogno di studiare diversi sotto-campioni. Il sotto-campione dovrebbe essere di dimensioni sufficienti per analizzare •Se c'è molta eterogeneità. Ad esempio, i clienti possono differire fortemente in come si comportano e come rispondono alle azioni di marketing •Se la variabile studiata si verifica molto raramente (ad esempio una conversione su una campagna di posta elettronica) e un numero sufficiente di punti dati è necessario per comprendere i driver di questo evento •Se esiste una forte collinearità tra le variabili indipendenti utilizzate per prevedere o spiegare una variabile dipendente, ad esempio le vendite o la cedola. 102
  • 103. marco domizio Classificazione 04 - ANALYTICS Area di applicazione (mercato, marca, cliente) Descrittivi o predittivi; Metodo statico o dinamico 103
  • 106. marco domizio Classificazione 04 - ANALYTICS Questi sette metodi classici hanno in comune il fatto che sono spesso utilizzati all'interno di funzioni di marketing intelligence. Inoltre, molti di questi metodi hanno un ruolo in ambienti Big Data. E’ molto importante padroneggiare questi metodi prima affrontare l’analisi dei Big data 1. Reporting: hanno lo scopo di fornire informazioni di gestione su alcune statistiche descrittive pertinenti a KPI specifici, come quota di mercato, la soddisfazione del cliente, e / o la redditività dei clienti 2. Profiling: fornire una descrizione di marche e di segmenti di clientela. Ad esempio, confrontare utenti Apple vs Samsung vs Blackberry su variabili specifiche, quali l'età, l'istruzione, e di genere 3. Migration: La migrazione può essere utilizzato per studiare lo sviluppo dei clienti e la marca o l'utilizzo del prodotto nel tempo. Questa analisi migrazione è spesso necessaria per comprendere variazioni di dati di vendita aggregati nel tempo 4. Segmentation (gerarchici, k-means) 5. Trend analysis market and sales forecasting (regressione lineare) 6. Attribute importance (Misura indicata di importanza, Approccio basato sulla regressione, Analisi congiunta) 7. Individual prediction models: analisi RFM (Recency, Frequency, Monetary) , alberi di decisione, modelli logit, modelli informatici (bootstrap aggregation (“bagging”)) 106
  • 107. marco domizio Big data & analytics 04 - ANALYTICS tipi di dati: non strutturati e diversi nuove sfide: ecosistema digitale nuove 7 tecniche di analisi 107
  • 108. marco domizio Big data Analytics 04 - ANALYTICS 108
  • 109. marco domizio Big data Analytics 04 - ANALYTICS 109
  • 110. marco domizio Big data Analytics 04 - ANALYTICS 110
  • 111. marco domizio Web analytics 04 - ANALYTICS Obiettivo Comprendere come il consumatore visita ed usa siti internet Metodi • site-centric: interazione con un sito specifico convergenza, funnel • User-centric: registrazione utenti nel comportamento on line Tecniche: • SEO • Miglioramento sito: test a/b 111
  • 112. marco domizio Customer journey analysis 04 - ANALYTICS L’analisi permette di avere data da molte sorgenti e, dove possibile, dare un senso a queste per comprendere meglio il customer journeys e gli effetti di un touchpoints verso l’acquisto Metodi -Analisi qualitativa -Analisi quantitativa -Channels/touchpoints used for search -Channels/touchpoints used for purchase -channels/touchpoints used for after- sales 112
  • 113. marco domizio Attribution modeling 04 - ANALYTICS L’analisi permette di avere data da I clienti sono influenzati da diversi touchpoints: come valutare gli effetti di un touchpoint? Modelli “path to purchase”, Ultimo click, first click, time-decay attribution, touchpoint offline 113
  • 114. marco domizio Esempio: Campagna Adwords 04 - ANALYTICS Time decay:assegna maggior valore ai clic eseguiti più a ridosso della conversione. Il credito viene distribuito utilizzando un lasso di tempo di sette giorni, vale a dire che un clic eseguito otto giorni prima di una conversione riceverà metà del credito assegnato a un clic eseguito un giorno prima di una conversione. Esempio Adwords: Immaginiamo che tu sia il proprietario dell'hotel Paulina di Firenze. Un cliente trova il tuo sito facendo clic sugli annunci AdWords dopo aver eseguito le seguenti ricerche: "hotel Toscana", "hotel Firenze", "hotel 3 stelle Firenze" e infine "hotel 3 stelle Paulina Firenze". Il cliente prenota dopo aver fatto clic sull'annuncio attivato dai termini di ricerca "hotel 3 stelle Paulina Firenze". Con il modello di attribuzione "Ultimo clic", tutto il credito della conversione verrebbe attribuito all'ultima parola chiave ("hotel 3 stelle Paulina Firenze"). Con il modello di attribuzione "Primo clic", tutto il credito della conversione verrebbe attribuito alla prima parola chiave ("hotel Toscana"). Con il modello di attribuzione "Lineare", il credito della conversione verrebbe distribuito equamente tra tutte le parole chiave (il 25% ciascuna). Con il modello di attribuzione “Time decay", la maggior parte del credito verrebbe attribuita alla parola chiave "hotel 3 stelle Paulina Firenze" perché è quella che è stata utilizzata più a ridosso della conversione. La parte minore del credito verrebbe attribuita alla parola chiave "hotel Toscana" perché è quella utilizzata più lontano nel tempo rispetto alla conversione. Con il modello di attribuzione "In base alla posizione", il 40% del credito della conversione verrebbe attribuito alle parole chiave "hotel Toscana" e "hotel 3 stelle Paulina Firenze", mentre il 10% del credito verrebbe attribuito rispettivamente alle parole chiave "hotel Firenze" e "hotel 3 stelle Firenze". Con il modello di attribuzione "Basato sui dati", la parte di credito verrebbe attribuita a ciascuna parola chiave in base al numero di conversioni che ha generato. 114
  • 115. marco domizio Dynamic targeting 04 - ANALYTICS • Recommendation systems • Content filtering systems • Collaborative filtering systems • Hybrid forms of content and collaborative filtering systems. • Personalization systems. La differenza fondamentale tra sistemi di raccomandazione e sistemi di personalizzazione è che i sistemi di raccomandazione raccomandano prodotti o servizi esistenti, mentre i sistemi di personalizzazione adattano l'offerta alle esigenze dei clienti. 115
  • 116. marco domizio Integrated models 04 - ANALYTICS Integrazione ad un livello Integrazione Multi-level Adaptive forecasting L’arroganza dei big data: effetto Google Flu Trends 116
  • 117. marco domizio Social Listening 04 - ANALYTICS • Analisi del testo (dr.watson) • “opinion mining”: tecniche computazionali per l'estrazione, la classificazione, la comprensione e la valutazione delle opinioni espresse in varie fonti di notizie online, social/commenti dei media, e altri contenuti generati dagli utenti (sentiment analysis) Errori da evitare: commento che accompagna un’immagine di una reazione cutanea rispetto ad una crema per il corpo che afferma:“Grazie xxx! Davvero un effetto strepitoso “ oppure un commento ad un ritardo nel volo: “Il mio volo è in ritardo. Splendido!” 117
  • 118. marco domizio Social network analysis 04 - ANALYTICS Non solo FB, Linkedin (piazze)…ma community specializzate! • Creation of network data • Description of the network using network metrics • Social network targeting and valuation. teoria dei grafi, influencer Warning!: privacy 118
  • 119. marco domizio Social network analysis 04 - ANALYTICS Degree centrality:Misura il numero di contatti diretti che un individuo ha in una rete Betweenness centrality: E’ legato al numero di volte in cui un nodo si ritrova lungo lo shortest path tra le altre coppie di nodi della rete Closeness centrality: esprime il grado di prossimità di un utente agli altri della rete Clienti con un alta betweenness centrality hanno più potere in una rete Clienti con bassa Closeness centrality hanno più facilità di raggiungere altri clienti ESEMPIO Influencer e Testimonial 119
  • 120. marco domizio Emerging techniques 04 - ANALYTICS Analisi foto e video (CBIR ( Content-Based Image RetrievalSystems) Proximity marketing&cookies 120
  • 121. marco domizio Successful big data 04 - ANALYTICS Investimento in • Persone:reclutare, sviluppare e mantenere il giusto talento analitico • Sistemi:la piattaforma e gli strumenti per un ecosistema dati integrato • Processi: creare un modo comune di lavoro basato sul business e sostenuto dalla privacy e dalla sicurezza • Organizzazione:prendere il ruolo giusto e il posto nell'organizzazione per il maggior impatto. VALUE GENERATION people process system organization 121
  • 122. marco domizio Sistemi 04 - ANALYTICS 12216:39
  • 123. 05 Tools, storage & processing Uno sguardo agli strumenti di lavoro
  • 124. marco domizio Big data landscape 05 - Tools, storage & processing 124
  • 125. marco domizio Tools 05 - Tools, storage & processing NoSQL: è un movimento che promuove sistemi software dove la persistenza dei dati è caratterizzata dal fatto di non utilizzare il modello relazionale, di solito usato dai database tradizionali (RDBMS) ◦ DatabasesMongoDB, CouchDB, Cassandra, Redis, BigTable, Hbase, Hypertable, Voldemort, Riak, ZooKeeper MapReduce: è un framework software brevettato e introdotto da Google per supportare la computazione distribuita su grandi quantità di dati in cluster di computer. ◦ Hadoop, Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume, Kafka, Azkaban, Oozie, Greenplum Storage ◦ S3, Hadoop Distributed File System Servers ◦ EC2, Google App Engine, Elastic, Beanstalk, Heroku Processing ◦ R, Yahoo! Pipes, Mechanical Turk, Solr/Lucene, ElasticSearch, Datameer, BigSheets, Tinkerpop 125
  • 126. marco domizio Risorse e servizi distribuiti 05 - Tools, storage & processing • Distributed Architecture • Clusters of computers that work together to a common goal • Scale out not up! • Fault- tolerance • Resource replication • Eventual consistency • Distributed processing • Shared-nothing model • New programming paradigms 126
  • 127. marco domizio Teorema di CAP 05 - Tools, storage & processing Per aumentare il livello della prestazione nella gestione e nell'interrogazione dei dati si punta, dunque, ad un sistema distribuito, il quale si basa sulle proprietà del Teorema CAP, presentato nel 2000 da Eric Brewer Esso specifica come in un contesto distribuito si possano identificare 3 proprietà fondamentali: • Consistency (Coerenza): i dati rimangono consistenti alla fine dell'esecuzione di un'operazione, ovvero, una volta effettuato un update, tutti i client dispongono degli stessi dati. • Availability (Disponibilità): ogni richiesta riceverà una risposta sia in caso di successo che in caso di fallimento; in altre parole, il sistema è sempre disponibile. • Partition Tolerance (Tolleranza al Partizionamento): il sistema continua a funzionare nonostante la presenza di un meccanismo di comunicazione inaffidabile e di eventuali perdite di messaggi. Il teorema enuncia l'impossibilità di avere tutte e tre le caratteristiche nello stesso momento; pertanto, se ne possono implementare al più due a discapito della terza. Di conseguenza, se si sceglie di non avere una tolleranza al partizionamento si avranno problemi sulla scalabilità verticale, che è sicuramente più costosa. Se si rinuncia alla disponibilità dobbiamo attendere che vengano risolte alcune richieste a discapito delle prestazioni. Se si rinuncia alla coerenza si avrà, per un periodo, un disallineamento dei dati sui nodi. A fronte dei risultati offerti dal teorema CAP, i database di tipo NoSQL, per poter essere scalabili come richiesto, devono sacrificare la consistenza a scapito le prestazioni e la disponibilità dei dati. La consistenza non è possibile garantirla sempre a priori, ma è comunque presente in una forma più debole. 127
  • 128. marco domizio Big data flow 05 - Tools, storage & processing ETL RealTime Streams Distributed File System (HDFS) NoSQL (HBase, Cassandra, MongoDB) New SQL (Oracle, VoltDB, Teradata) Real Time Processing Analytics (Spark, Cloudera, Greenplum) Batch Processing 128
  • 129. marco domizio Trend 05 - Tools, storage & processing ETL RealTime Streams Distributed File System (HDFS) NoSQL (HBase, Cassandra, MongoDB) New SQL (Oracle, VoltDB, Teradata) Real Time Processing Analytics (Spark, Cloudera, Greenplum) Batch Processing X 129
  • 130. marco domizio Data Lake 05 - Tools, storage & processing 130
  • 131. marco domizio Data Lake 05 - Tools, storage & processing Il termine data lake è apparso per la prima volta a ottobre 2010 sul blog di James Dixon, CTO di Pentaho, specializzata in business intelligence “Se si pensa a un datamart come a un negozio di acqua in bottiglia – depurata, confezionata e strutturata per essere consumata con facilità – il data lake è una grande distesa d'acqua in uno stato più naturale. Il contenuto del data lake affluisce da sorgenti di dati e vari utenti del lake possono esaminarlo, immergervisi o prelevare campioni. È nella nozione di dati e campioni grezzi che un data lake diverge da un data warehouse: il primo raccoglie un volume consistente di dati grezzi – strutturati, semistrutturati e destrutturati – in formato nativo e ne permette l'analisi. “ 131
  • 132. marco domizio Data Lake 05 - Tools, storage & processing Dove un data warehouse memorizza i dati in file e cartelle, un data lake fa uso di una architettura piatta. Ogni elemento riceve un identificatore e un insieme di metadati a corredo. Il data lake può così essere interrogato alla ricerca di dati rilevanti, che possono essere successivamente analizzati a parte alla ricerca di risultati specifici. 132
  • 133. marco domizio Gli strumenti di digital analytics 05 - Tools, storage & processing 133
  • 134. marco domizio Raccolta: puoi utilizzare Google Analytics per raccogliere i dati sulle interazioni degli utenti da siti web, app mobili e ambienti collegati digitalmente, ad esempio postazioni digitali o sistemi POS. Per i siti web, Google Analytics utilizza il codice JavaScript per raccogliere informazioni. Un pacchetto di informazioni è definito "hit" o "interazione". Un "hit" viene inviato ogni volta che un utente visualizza una pagina con i tag di Google Analytics. Per le app mobili, è necessario aggiungere altro codice per ogni "attività" da monitorare. Elaborazione: una volta raccolti gli hit di un utente sui server Google, si passa alla fase di elaborazione dei dati. In questo passaggio avviene la "trasformazione" dei dati non elaborati in qualcosa di utile. Come funziona Google Analytics 05 - Tools, storage & processing 134
  • 135. marco domizio Configurazione: in questo passaggio, Google Analytics applica le impostazioni di configurazione ai dati non elaborati, ad esempio i filtri. In seguito all'elaborazione, i dati vengono memorizzati in un database. Dopo aver elaborato e memorizzato i dati nel database, è possibile modificarli. Rapporti: generalmente, per accedere ai dati viene utilizzata l'interfaccia web. Come funziona Google Analytics 05 - Tools, storage & processing 135
  • 136. marco domizio Come funziona Google Analytics 05 - Tools, storage & processing 136
  • 137. marco domizio Il ciclo di pianificazione della misurazione è composto dai seguenti passaggi: • Definizione del piano di misurazione • Documentare gli obiettivi di business. • Identificare le strategie e le tattiche per supportare gli obiettivi. • Scegliere le metriche che saranno gli indicatori chiave di prestazione. • Decidere come segmentare i dati. • Scegliere gli obiettivi per gli indicatori chiave di prestazione. • Creazione di un piano di implementazione. • Implementazione del piano. • Gestione e perfezionamento. Creare un piano di misurazione 05 - Tools, storage & processing 137
  • 138. marco domizio I rapporti di Google Analytics contengono dimensioni e metriche. Più comunemente, le dimensioni e le metriche vengono indicate in una tabella, in cui la prima colonna contiene un elenco di valori per una determinata dimensione mentre le altre colonne mostrano le metriche corrispondenti. Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle azioni eseguite. Le metriche sono le misurazioni quantitative di utenti, sessioni e azioni. Sono dati numerici. Gli eventi sono interazioni tra utenti e contenuti monitorabili indipendentemente dal caricamento di una pagina web o di una schermata. Concetti chiave 05 - Tools, storage & processing 138
  • 139. marco domizio Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle azioni eseguite. Ad es. la dimensione Città descrive una caratteristica delle sessioni e indica la città. Le metriche sono misurazioni quantitative. Ad es. la metrica Sessioni indica il numero totale di sessioni. La metrica Pagine/sessione indica il numero medio di pagine visualizzate a ogni sessione. Ogni report in Google Analytics contiene entrambe le dimensioni e metriche. Metriche e dimensioni 05 - Tools, storage & processing 139
  • 140. marco domizio La segmentazione ti consente di isolare e analizzare i sottoinsiemi di dati. I segmenti sono filtri non distruttivi. Ad esempio, puoi segmentare i dati in base ai canali di marketing per individuare il canale che fa registrare un incremento degli acquisti. I segmenti rappresentano sottoinsiemi di sessioni o sottoinsiemi di utenti. • Sottoinsiemi di sessioni: ad esempio, tutte le sessioni che hanno origine dalla Campagna A; • tutte le sessioni durante le quali è stato generato un acquisto. • Sottoinsiemi di utenti: ad esempio, gli utenti che hanno in precedenza effettuato acquisti; utenti che hanno aggiunto articoli al carrello degli acquisti ma che non hanno completato un acquisto. Segmentazione dei dati 05 - Tools, storage & processing 140
  • 141. marco domizio L’impostazione degli obiettivi in Google Analytics è uno dei passaggi più importanti dell'implementazione. Una volta attivati gli obiettivi, ottieni metriche quali il numero di conversioni e il tasso di conversione. Gli obiettivi ti consentono di mappare i dati in Google Analytics in base agli indicatori chiave di prestazione definiti nella pianificazione della misurazione. Obiettivi ed ecommerce 05 - Tools, storage & processing 141
  • 142. marco domizio Esistono quattro tipi di obiettivo. Gli obiettivi vengono impostati a livello di vista Obiettivo Destinazione è una pagina del tuo sito web che gli utenti visualizzano in seguito al completamento di un'attività. Per la creazione di un account, potrebbe essere la pagina di ringraziamento per la registrazione. Per un acquisto, potrebbe essere la pagina della ricevuta. Un obiettivo Destinazione dà inizio a una conversione quando un utente visualizza la pagina da te specificata. Obiettivo Evento viene attivato quando un utente esegue un'operazione specifica, ad esempio scarica un PDF o avvia un video. Per utilizzare questo tipo di obiettivo, è necessario aver implementato il monitoraggio degli eventi nel sito web. Obiettivi ed ecommerce 05 - Tools, storage & processing 142
  • 143. marco domizio Obiettivo Pagine per visita viene attivato quando un utente visualizza più o meno pagine rispetto a una determinata soglia. Obiettivo Durata viene attivato quando la visita di un utente supera/non raggiunge una determinata soglia. Obiettivi ed ecommerce 05 - Tools, storage & processing 143
  • 144. marco domizio C'è una differenza importante tra conversioni all'obiettivo e transazioni e-commerce. Durante una visita, una conversione all'obiettivo può essere conteggiato una sola volta mentre una transazione e-commerce può essere conteggiata più volte. Ecco un esempio. Supponiamo che uno degli obiettivi impostati sia il download di un PDF e che ogni download sia considerato una conversione all'obiettivo valida. Supponiamo inoltre che il valore dell'obiettivo sia € 5. In questo caso, se un utente accede al sito e scarica cinque file PDF durante una singola sessione, ottieni una sola conversione del valore di € 5. Tuttavia, se monitorassi ognuno di questi download come transazione e-commerce di € 5, registreresti cinque transazione ed € 25 di entrate e-commerce. Obiettivi ed ecommerce 05 - Tools, storage & processing 144
  • 145. marco domizio Ottieni ulteriori dati sulla provenienza degli utenti provenienti dai referral che accedono ai tuoi contenuti e, conseguentemente, identificare i modi più efficaci per attirare nuovi visitatori. Per utilizzare le campagne personalizzate, è necessario aggiungere negli URL alcuni parametri in grado di identificare il posizionamento di tali link nell'ambito di una specifica campagna in corso di pubblicazione. Quando un utente fa clic su un link, tali parametri vengono inviati ai rapporti Analytics, in modo che sia possibile scoprire gli URL su cui gli utenti fanno clic per accedere ai tuoi contenuti. Per impostare campagne personalizzate, devi aggiungere parametri alla fine degli URL (utm_source, utm_medium, utm_campaign, utm_term, utm_content) Campagne 05 - Tools, storage & processing 145
  • 146. marco domizio Rapporti 05 - Tools, storage & processing 146
  • 147. marco domizio Come funziona 05 - Tools, storage & processing DEMO ONLINE 14717:39
  • 148. marco domizio Marco Domizio Digital Transformation Consultant Affianco imprenditori a realizzare progetti digitali per aumentare clienti e vendite m.domizio@tiscali.it +39 335 1223483 Un obiettivo, senza un piano, rimane solo un desiderio. “GRAZIE! 148